文章目录[隐藏]
我需要的数据如：
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的，把我们要下载的链接拼起来，循环下载，处理一下入库就行了。
另外可以要考虑代理 ，多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接，告诉他我要怎么处理这些数据才能工作呀。
没办法，请教大家，有哪个爬虫工具有这样的功能呀，谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的，再次谢谢。
回复讨论(解决方案)
找个开源的还是得改成你需要的，到麻烦。php的curl就可以，支持代理。
python的话socket挺好的，而且多线程的话threading处理非常方便。
自己写呗~
东西做好 然后告诉他 这个就
本文来源gao!%daima.com搞$代*!码$网3
搞代gaodaima码是最好的工具
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：求一个简单的数据抓取工具
转载请注明原文链接：求一个简单的数据抓取工具
