世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
python爬虫需要安装相关库：
python爬虫涉及的库：
请求库，解析库，存储库，工具库
1. 请求库：urllib/re/requests
（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：
没有报错信息输出，说明环境正常
（2） requests安装
2.1 打开CMD，输入
pip3 install requests
2.2 等待安装后，验证
（3） selenium安装（驱动浏览器进行网站访问行为）
3.1 打开CMD，输入
pip3 install selenium
3.2 安装chromedriver
网址：https://npm.taobao.org/
把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\
这个路径只要在PATH变量中就可以
3.3 等待安装完成后，验证
回车后弹出chrome浏览器界面
3.4 安装其他浏览器
无界面浏览器phantomjs
下载网址：http://phantomjs.org/
下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量
验证：
打开CMD
phantomjsconsole.log('phantomjs')CTRL+Cpythonfrom selenium import webdriverdriver = webdriver.PhantomJS()dirver.get('http://www.baidu.com')driver.page_source
2. 解析库：
2.1 lxml (XPATH)
打开CMD
pip3 install lxml
或者从来&源gao@dai!ma.com搞$代^码%网https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件
pip3 install 文件名.whl
2.2 beautifulsoup
打开CMD，需要先安装好lxml
pip3 install beautifulsoup4
验证
pythonfrom bs4 import BeautifulSoupsoup = BeautifulSoup('<html></html>','lxml')
2.3 pyquery（类似jquery语法）
打开CMD
pip3 install pyquery
验证安装结果
pythonfrom pyquery import PyQuery as pqdoc = pq('<html>hi</html>')result = doc('html').text()result
3. 存储库
3.1 pymysql（操作MySQL，关系型数据库）
安装：
pip3 install pymysql
安装后测试：
3.2 pymongo（操作MongoDB，key-value）
安装
pip3 install pymongo
验证
pythonimport pymongoclient = pymongo.MongoClient('localhost')db = client['testdb']db['table'].insert({'name':'bob'})db['table'].find_one({'name':'bob'})
3.3 redis（分布式爬虫，维护爬取队列）
转载请注明原文链接：python爬虫需要安装什么
