• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

python数据爬虫的简单步骤怎么写?

python 搞java代码 3年前 (2022-05-21) 38次浏览 已收录 0个评论

我们都知道这个数据爬虫的概念,也只是这个是做什么的,什么原理,但是奇怪的是我们,只要自己去写内容的时候,便不知道如何去处理了。这是为什么呢?于是小编去咨询了好几个有问题的小伙伴,他们只会开头,在写到中间的时候,便不知道顺序了,因此,好几次都需要对照着别人的内容,去查找填写,下面小编给大家整理整个流程,供大家参考哈~

爬虫基本流程

1、发起请求

通过url向服务器发送requests请求,请求可以包含额外的header信息。

2获取响应内容

如果服务器正常响应,那么将受到一个response,response即为我们所请求的网页内容,可能包含htmljson二进制数据(图片、视频)等。

3、解析内容

如果是html代码则可以使用网页解析器进行解析;如果是json数据则可以转换成json对象进行解析;如果是二进制数据则可以保存到文件进行进一步的处理。

4、保存数据

可以保存到本地文件,也可以保存到数据库(mysqledismongodb等)。

5、requests请求

当我们通过浏览器向服务器发送requests请求时,这个request包含什么内容?可以通过chrome浏览器的开发人员工具(F12)查看。

6、请求方式

最常用的请求方式包括get请求和post请求。

7、uri统一资源定位符

 一个网址、一个视频、一个图片都可以用uri去定义

8、requests headers

请求头,包括这次请求的类型,cookie信息以及浏览器类型等。

请求头在我们进行网页抓取的时候,服务器会通过解析请求头来进行信息的审核,判断请求是否为合法请求。所以当我们通过程序伪装浏览器进行请求的时候可以设置请求头的信息。

9、请求体

post请求会把用户信息包装在form-data里面进行提交,因此相比于get请求,post请求的Headers标签的内容会多出Form Data这个信息包。

10、response

响应状态:Headers中的General可以看到status code,使用数字代码表示对于状态,200表示成功,301跳转,404找不到网页,502服务器错误等。

11、响应头

包括内容的类型,cookie信息等。

12、响应体

请求的目的就是为了得到响应体,包括html代码,json及二进制数据等。

13、requests模块

安装使用pip install requests即可。

好啦,这就是如果你再变成爬取数据的时候整个代码内容了哦~大家可以制作个便签,在初次写爬取的时候,看下过程,这样可以增加下印象哦~

来源:搞代码网:原文地址:https://www.gaodaima.com


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:python数据爬虫的简单步骤怎么写?
喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址