一个抓取页面图片的小脚本

一个抓取页面图片的小脚本

感悟生活。 最近总是能看到好多有深度的系列图片,可是下载很费劲。一张一张另存为,真是懒得去做。 作为一个屌丝程序员,还是半自动好一些些。写了一个php脚本。 页面抓取的整体思路大致相同: 1、获取页面信息(主要是http远程获取数据,可能会涉及到频率及反防抓取,这些要进一步了解http协议,在这就不说了) 2、匹配要抓取的信息(正则) 3、下载图片 4、记录下载,将结果转为两部分,a、有效抓取;b…

使用google API获取二维码图片【原创】

 

网络爬虫类包实现页面抓取功能

网络爬虫类包实现页面抓取功能 根据 搜索引擎爬虫工作原理 自己写了页面抓取功能。 在日常的使用中还会遇到很多问题,如:页面需要登录后才能抓取、被抓取网站在单位时间内限制访问者IP访问次数等。 上述问题我也不了解,所以我这里忽略了这些问题。如果大家有好的方式,可以联系我。我会尽快完善代码。  

 

thinkphp curl

在thinkphp中发送数据时,提交参数名不要使用(m,a,g),会影响地址读取 tp中m取get,a取post优先(有post时get无效) protected function curl($url, $postFields = null) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url);         curl_setopt(…