开源的Web爬虫webmagic免费下载

  • 内容
  • 评论
  • 相关

webmagic是一个开源的Java垂直爬虫框架,覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。

开源的Web爬虫webmagic原理截图
开源的Web爬虫webmagic免费下载-gaodaima搞代码

开源的Web爬虫webmagic特性包括:
1)完全模块化的设计,强大的可扩展性。
2)提供丰富的抽取页面API。
3)无配置,但是可通过POJO+注解形式实现一个爬虫。
4)支持多线程。
5)支持分布式。
6)支持爬取js动态渲染的页面。
7)无框架依赖,可以灵活的嵌入到项目中去。

开源的Web爬虫webmagic下载地址:
开源的Web爬虫webmagic免费下载

GitHub 仓库挂件 WordPress 插件

code4craft / webmagic

A scalable web crawler framework for Java.

http://webmagic.io/

原创文章,转载请注明: 转载自搞代码

本文链接地址: 开源的Web爬虫webmagic免费下载

微信支付二维码

微信 赏一包辣条吧~

支付宝支付二维码

支付宝 赏一听可乐吧~

评论

0条评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注