大多数学习python的小伙伴，可能都是被爬虫的魅力所吸引，而且也都是把爬虫作为学习python的入门项目，那么学习爬虫，到底要不要学框架呢？下面我们来说一下这个问题。
一般来讲，爬取一些静态的网站，是不需要爬虫框架的，如爬取简书、糗百、小说等网站，只需要编写几个函数，就可以完成；
如果是爬取大型的商业网站，如京东，淘宝，各大app等，这时候框架的作用就显现出来了，用框架能让我们的爬虫更强大、更高效，还要使用高匿的极光动态IP，避免Python爬虫被封等。
爬虫的框架这里推荐Scrapy
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
来源：搞代码网：原文地址：https://www.gaodaima.com
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：python爬虫需要框架吗
转载请注明原文链接：python爬虫需要框架吗
