本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
以下文章来自于Python小二，作者：Python小二
本文以360手机助手为例，地址为：http://zhushou.360.cn/，相亲软件选择 3 个比较流行的，分别为：世纪佳缘、百合婚恋、有缘网，我们使用 Python 爬取软件评论区，看看用户评价情况。
先来看一下这三款软件的下载量和好中差评占比情况（下图单位为万次）。
下面开始爬取评论区，以世纪佳缘为例，首先，在搜索框输入世纪佳缘进行搜索，如图所示：
接着，点击搜索到的软件进入其详情页，如图所示：
将页面向下拉就可以看到评论区了，如图所示：
此时打开开发者工具并选择Network项，点击查看更多评论，然后可以看到getComments请求，如图所示：
通过这个请求我们就可以动态获取评论区数据了，其中参数star为开始的评论索引，参数count为每次加载的评论个数，可以通过参数callback、baike指定不同应用，爬取代码实现如下：
headers =<span> {
</span><span>"</span><span>Accept</span><span>"</span>: <span>"</span><span>*/*</span><span>"</span><span>,
</span><span>"</span><span>Accept-Encoding</span><span>"</span>: <span>"</span><span>gzip, deflate, sdch</span><span>"</span><span>,
</span><span>"</span><span>Accept-Language</span><span>"</span>: <span>"</span><span>zh-CN,zh;q=0.8</span><span>"</span><span>,
</span><span>"</span><span>Connection</span><span>"</span>: <span>"</span><span>keep-alive</span><span>"</span><span>,
</span><span>"</span><span>Host</span><span>"</span>: <span>"</span><span>comment.mobilem.360.cn</span><span>"</span><span>,
</span><span>"</span><span>User-Agent</span><span>"</span>: <span>"</span><span>Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER</span><span>"</span><span>
}
</span><span>def</span><span> comment_spider(param, file_name):
base_url </span>= <span>"</span><span>http://comment.mobilem.360.cn/comment/getComments?c=message&a=getmessage&&count=50</span><span>"</span><span>
start </span>=<span> 0
</span><span>for</span> i <span>in</span> range(1, 50<span>):
</span><span>print</span>(<span>"</span><span>第{}页</span><span>"</span><span>.format(i))
url </span>= base_url + param + <span>"</span><span>&start=</span><span>"</span> +<span> str(start)
r </span>= requests.get(url, headers=<span>headers)
data </span>= re.findall(<span>"</span><span>{"errno"(.*));}catch(e){}</span><span>"</span><span>, r.text)
</span><span>#</span><span> 转为 Json 格式</span>
jdata = json.loads(<span>"</span><span>{"errno"</span><span>"</span> +<span> data[0])
</span><span>for</span> message <span>in</span> jdata[<span>"</span><span>data</span><span>"</span>][<span>"</span><span>messages</span><span>"</span><span>]:
content </span>= message[<span>"</span><span>content</span><span>"</span><span>]
</span><span>print</span><span>(content)
with open(file_name </span>+ <span>"</span><span>.txt</span><span>"</span>, <span>"</span><span>a</span><span>"</span>, encoding=<span>"</span><span>utf-8</span><span>"</span><span>) as f:
f.write(content)
start </span>= start + 50<span>
time.sleep(</span>2)
www#gaodaima.com来源gao!%daima.com搞$代*!码$网搞代码
我们将爬取的评论数据存到了 txt 文件中。
接着，我们将评论数据进行词云展示，代码实现如下：
with open(<span>"</span><span>yy.txt</span><span>"</span>, <span>"</span><span>r</span><span>"</span>, encoding=<span>"</span><span>utf-8</span><span>"</span><span>) as f:
content </span>=<span> f.read()
stylecloud.gen_stylecloud(text</span>=content, max_words=600<span>,
collocations</span>=<span>False,
font_path</span>=<span>"</span><span>SIMLI.TTF</span><span>"</span><span>,
icon_name</span>=<span>"</span><span>fas fa-heart</span><span>"</span><span>,
size</span>=800<span>,
output_name</span>=<span>"</span><span>yy.png</span><span>"</span><span>)
Image(filename</span>=<span>"</span><span>yy.png</span><span>"</span>)
最后，通过词云看一下用户对上述软件的评价情况。
世纪佳缘：
百合婚恋：
有缘网：
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：有哪些比较好的相亲软件呢？爬取三大相亲软件评论，惨不忍睹
转载请注明原文链接：有哪些比较好的相亲软件呢？爬取三大相亲软件评论，惨不忍睹
