前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.<a href="https://www.gaodaima.com/tag/com" title="查看更多关于com的文章" target="_blank">com</a>/523606542

www#gaodaima.com来源gao@!dai!ma.com搞$$代^@码网搞代码

<code class="hljs"> </code>

基本开发环境

Python 3.6
Pycharm

目标网页分析

就选择B站排行榜第一的视频。

如何找到弹幕数据？

如上图所示：

1、点击进入网页之后，F12打开开发者工具，选择Ntework

2、点击查看历史弹幕，选择日期就有相对应的数据加载出来

3、点击选择有日期的url地址，弹幕的数据都包含在内了（如下图所示）

弹幕数据的url地址既然都知道了，那么就可以直接爬取下来了。

代码实现部分

1、请求网页获取源代码数据

<span>import</span><span> requests
url </span>= <span>"</span><span>https://api.bilibili.com/x/v2/dm/history?type=1&oid=279984604&date=2021-01-10</span><span>"</span><span>
headers </span>=<span> {
    </span><span>"</span><span>user-agent</span><span>"</span>: <span>"</span><span>Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36</span><span>"</span><span>
}
response </span>= requests.get(url=url, headers=<span>headers)
</span><span>print</span>(response.text)

爬取这些数据是需要加上cookie的，如果没有加cookie的话会显示你未登录账号

所以需要在headers里面添加cookie

cookie怎么添加呢？

在开发者工具当中，选择你所需要爬取的url地址，查看headers其中的requests headers 中的cookie就是了。

当给了cookie之后又出现问题了

虽然数据是有了，但是出现乱。其实只需要加一行代码就可以解决，还是比较万能的转码方式。

response.encoding = response.apparent_encoding

遇到乱码问题都可以这样使用，如果使用之后还是出现乱码问题，就要根据网页的编码进行转码了。

2、使用正则表达式提取弹幕数据

result = re.findall(<span>"</span><span>p=".*?">(.*?)</d><d </span><span>"</span><span>, response.text)
</span><span>for</span> i <span>in</span><span> result:
    </span><span>print</span>(i)

正则表达式提取出来的数据，是列表格式，所以需要遍历提取出每一条弹幕数据。

3、保存数据至本地

    with open(<span>"</span><span>弹幕.txt</span><span>"</span>, mode=<span>"</span><span>a</span><span>"</span>, encoding=<span>"</span><span>utf-8</span><span>"</span><span>) as f:
        f.write(i)
        f.write(</span><span>"</span><span>
</span><span>"</span>)

mode=”a”：写入模式为a，追加写入

encoding=”utf-8″：指定写入编码，文字内容均为 “utf-8”

写入一个换行符，每写入一条数据，就重新换一个行写入

4、批量爬取弹幕数据

之前只是爬取一天的弹幕数据，如果想要爬取一段时间内容的弹幕数据的话，只需要改变url地址中的日期就可以了

<span>for</span> date <span>in</span> range(9, 12<span>):
    url </span>= f<span>"</span><span>https://api.bilibili.com/x/v2/dm/history?type=1&oid=279984604&date=2021-01-{date}</span><span>"</span>

就是从9号爬取到11号的数据，这个视频也刚出来三天。

爬虫完整代码

<span>import</span><span> requests
</span><span>import</span><span> re
</span><span>for</span> date <span>in</span> range(9, 12<span>):
    url </span>= f<span>"</span><span>https://api.bilibili.com/x/v2/dm/history?type=1&oid=279984604&date=2021-01-{date}</span><span>"</span><span>
    headers </span>=<span> {
        </span><span>"</span><span>cookie</span><span>"</span>: <span>"</span><span>输入你自己的cookie</span><span>"</span><span>,
        </span><span>"</span><span>user-agent</span><span>"</span>: <span>"</span><span>Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36</span><span>"</span><span>
    }
    response </span>= requests.get(url=url, headers=<span>headers)
    response.encoding </span>=<span> response.apparent_encoding
    result </span>= re.findall(<span>"</span><span>p=".*?">(.*?)</d><d </span><span>"</span><span>, response.text)
    </span><span>for</span> i <span>in</span><span> result:
        with open(</span><span>"</span><span>弹幕.txt</span><span>"</span>, mode=<span>"</span><span>a</span><span>"</span>, encoding=<span>"</span><span>utf-8</span><span>"</span><span>) as f:
            f.write(i)
            f.write(</span><span>"</span><span>
</span><span>"</span><span>)
            </span><span>print</span>(i)

通过代码量可以看得出来，B站弹幕的爬取还是比较简单的，16行就能搞定，说到底还是python代码简洁优雅。

弹幕词云代码

<span>import</span><span> jieba
</span><span>import</span><span> wordcloud
</span><span>import</span><span> imageio
</span><span>#</span><span> 导入imageio库中的imread函数，并用这个函数读取本地图片，作为词云形状图片</span><span>
#</span><span> py = imageio.imread("图片路径")  如何你想要改变词云图的形状，可以添加</span><span>
#</span><span> 读取文件内容</span>
f = open(<span>"</span><span>弹幕.txt</span><span>"</span>, encoding=<span>"</span><span>utf-8</span><span>"</span><span>)
txt </span>=<span> f.read()
</span><span>#</span><span> jiabe 分词 分割词汇</span>
txt_list =<span> jieba.lcut(txt)
string </span>= <span>"</span> <span>"</span><span>.join(txt_list)
</span><span>#</span><span> 词云图设置</span>
wc =<span> wordcloud.WordCloud(
        width</span>=1000,         <span>#</span><span> 图片的宽</span>
        height=700,         <span>#</span><span> 图片的高</span>
        background_color=<span>"</span><span>white</span><span>"</span>,   <span>#</span><span> 图片背景颜色</span>
        font_path=<span>"</span><span>msyh.ttc</span><span>"</span>,    <span>#</span><span> 词云字体</span>
        <span>#</span><span> mask=py,     # 所使用的词云图片</span>
        scale=15<span>,
        </span><span>#</span><span> stopwords={""}, # 停用词</span>
        <span>#</span><span> contour_width=5,</span>
        <span>#</span><span> contour_color="red"  # 轮廓颜色</span>
<span>)
</span><span>#</span><span> 给词云输入文字</span>
<span>wc.generate(string)
</span><span>#</span><span> 词云图保存图片地址</span>
wc.to_file(<span>"</span><span>out.png</span><span>"</span>)

实现效果

搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]‍，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：B站排行榜第一的视频，看看5W弹幕都在说些什么？

B站排行榜第一的视频，看看5W弹幕都在说些什么？

前言