一个成功的东西，他只涵盖一个整体内容吗？肯定不是的，像我们使用的任何物品，都是通过一块一块内容搭建起来的，除了实体物品，还包括我们的语言程序python，作为最经常使用的爬虫功能，大家有没有对框架里包含的模块进行了解呢？难道模块只存在一个吗？肯定不是，那不是的话，存在哪里模块呢？一起来看下吧~
1、Python标准库——urllib模块
功能：打开URL和http协议之类
实例代码：
#coding:utf-8
<a href="https://www.gaodaima.com/tag/import" title="查看更多关于import的文章" target="_blank">import</a> urllib.request
import time
import platform
#清屏函数(无关紧要 可以不写)
def clear():
print(u"内容过多 3秒后清屏")
time.sleep(3)
OS = platform.system()
if (OS == u'Windows'):
os.system('cls')
else:
os.system('clear')
#访问函数
def linkbaidu():
url = ''
try:
response = urllib.request.urlopen(url,timeout=3)
except urllib.URLError:
print(u'网络地址错误')
exit()
with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:
response = urllib.request.urlopen(url,timeout=3)
fp.write(response.read())
print(u'获取url信息，response.geturl()
:%s'%response.getrul())
print(u'获取返回代码，response.getcode()
:%s' % response.getcode())
print(u'获取返回信息，response.info()
:%s' % response.info())
print(u"获取的网页信息经存与baidu.txt")
if __name__ =='main':
linkbaidu()
www#gaodaima.com来源gaodai.ma#com搞##代!^码@网搞代码
2、Python标准库–logging模块
logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug
3、re模块
正则表达式
4、sys模块
系统相关模块
实际应用：
sys.argv(返回一个列表，包含所有的命令行)
sys.exit(退出程序)
5、Scrapy框架
上述给大家讲述了python的主要模块，还给大家顺带着说了大致的使用情况，希望大家可以根据以上描述，对这些模块进行合理的应用哦~
来源：搞代码网：原文地址：https://www.gaodaima.com
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：python的爬虫框架包括哪些模块？
转载请注明原文链接：python的爬虫框架包括哪些模块？
