Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具，本节来介绍它的安装方式。Scrapy-Splash的安装分为两部分。一个是Splash服务的安装，具体是通过Docker，安装之后，会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载。另外一个是Scrapy-Splash的Python库的安装……继续阅读 » 搞java代码 3年前 (2022-05-24) 18浏览 0评论0个赞
Scrapy-Redis是Scrapy的分布式扩展模块，有了它，我们就可以方便地实现Scrapy分布式爬虫的搭建。本节中，我们将介绍Scrapy-Redis的安装方式。相关链接GitHub：https://github.com/rmax/scrapy-redisPyPI：https://pypi.python.org/pypi/scrapy-redis……继续阅读 » 搞java代码 3年前 (2022-05-24) 32浏览 0评论0个赞
Scrapyd是一个用于部署和运行Scrapy项目的工具，有了它，你可以将写好的Scrapy项目上传到云主机并通过API来控制它的运行。既然是Scrapy项目部署，基本上都使用Linux主机，所以本节的安装是针对于Linux主机的。1. 相关链接GitHub：https://github.com/scrapy/scrapydPyPI：https://……继续阅读 » 搞java代码 3年前 (2022-05-24) 36浏览 0评论0个赞
Scrapyrt为Scrapy提供了一个调度的HTTP接口，有了它，我们就不需要再执行Scrapy命令而是通过请求一个HTTP接口来调度Scrapy任务了。Scrapyrt比Scrapyd更轻量，如果不需要分布式多任务的话，可以简单使用Scrapyrt实现远程Scrapy任务的调度。1. 相关链接GitHub：https://github.com/scr……继续阅读 » 搞java代码 3年前 (2022-05-24) 33浏览 0评论0个赞
Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台环境下，它所依赖的库也各不相同，所以在安装之前，最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。1. 相关链接官方网站：https://scrapy.org官方文档：ht……继续阅读 » 搞java代码 3年前 (2022-05-24) 27浏览 0评论0个赞
Gerapy是一个Scrapy分布式管理模块，本节就来介绍一下它的安装方式。1. 相关链接GitHub：https://github.com/Gerapy2. pip安装这里推荐使用pip安装，命令如下：pip3 install <a href="https://www.gaodaima.com/tag/gera……继续阅读 » 搞java代码 3年前 (2022-05-24) 10浏览 0评论0个赞
这几天跟着小伙伴一起做项目，碰到不少平时碰不到的技术问题，真是很好玩的一件事。比如Scrapy这个爬虫框架的的内存泄露问题就是一个很让人头疼的问题。 历来OOM(OOM – Out of Memory，内存溢出)问题都是项目里最棘手的问题，这种问题debug的难度很大，原因在于问题不太好定位。因为OOM的成因往往比较……继续阅读 » 搞java代码 3年前 (2022-05-24) 31浏览 0评论0个赞
生成项目scrapy提供一个工具来生成项目，生成的项目中预置了一些文件，用户需要在这些文件中添加自己的代码。打开命令行，执行：scrapy startproject tutorial，生成的项目类似下面的结构tutorial/ scrapy.cfg tutorial/ ……继续阅读 » 搞java代码 3年前 (2022-05-24) 28浏览 0评论0个赞
虚拟环境 virtual environment它是一个虚拟化，从电脑独立开辟出来的环境。通俗的来讲，虚拟环境就是借助虚拟机docker来把一部分内容独立出来，我们把这部分独立出来的东西称作“容器”，在这个容器中，我们可以只安装我们需要的依赖包，各个容器之间互相隔离，互不影响。譬如，本次学习需要用到Django，我们可以做一个Django的虚拟环境，里面只……继续阅读 » 搞java代码 3年前 (2022-05-21) 19浏览 0评论0个赞
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了……继续阅读 » 搞java代码 3年前 (2022-05-21) 54浏览 0评论0个赞
