前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
本次目标
爬取糗事百科视频
https://www.qiushibaike.com/video/
www#gaodaima.com来源gaodai$ma#com搞$$代**码网搞代码
环境
Python3.6
pycharm
分析网页获取视频真实地址
1、鼠标右键点击检查，可以看到网页中是有视频地址~
2、鼠标右键点击查看源代码，搜索视频地址查看网页源代码是否也有视频地址
糗事百科是一个静态网页，对于爬取网站视频还是比较简单的~
爬虫代码
导入工具
<span>import</span><span> requests </span><span>import</span><span> re </span><span>import</span> time
请求网站
url = <span>"</span><span>https://www.qiushibaike.com/video/page/{}/</span><span>"</span><span>.format(page)
headers </span>=<span> {
</span><span>"</span><span>User-Agent</span><span>"</span>: <span>"</span><span>Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36</span><span>"</span><span>
}
response </span>= requests.get(url=url, headers=headers)
解析网站
<span>for</span> li <span>in</span><span> lis:
video_url </span>= <span>"</span><span>https:</span><span>"</span> +<span> li
title </span>= li.split(<span>"</span><span>/</span><span>"</span>)[-1<span>]
download(video_url, title)</span>
保存数据
<span>def</span><span> download(url, title):
path </span>= <span>"</span><span>保存数据地址</span><span>"</span> +<span> title
response </span>= requests.get(url=<span>url)
with open(path, mode</span>=<span>"</span><span>wb</span><span>"</span><span>) as f:
f.write(response.content)</span>
运行代码，结果如下图
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：Python批量爬取糗事百科短视频，有意思的视频还是蛮多的
转载请注明原文链接：Python批量爬取糗事百科短视频，有意思的视频还是蛮多的
