本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章一级Python技术 ，作者派森酱

刚接触Python的新手、小白，可以复制下面的链接去免费观看Python的基础入门教学视频

<code><span class="hljs-attribute">https:<span class="hljs-comment">//v.douyu.<a href="https://www.gaodaima.com/tag/com" title="查看更多关于com的文章" target="_blank">com</a>/author/y6AZ4jn9jwKW</span></span></code>

www#gaodaima.com来源gao!daima.com搞$代!码网搞代码

前言

今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗？】的讨论，其中关注的人有1903，被浏览了1940753次，355个回答中大多数都是不靠谱。用Python爬取世纪佳缘的数据是否能证明它的不靠谱？

一，数据抓取

在PC端打开世纪佳缘网站，搜索20到30岁，不限地区的女朋友

翻了几页找到一个search_v2.php的链接，它的返回值是一个不规则的json串，其中包含了昵称，性别，是否婚配，匹配条件等等

点开Hearders拉到最下面，在它的参数中sex是性别，stc是年龄，p是分页，listStyle是有照片

通过url +参数的get方式，抓取了10000页的数据总计240116

需要安装的模块有openpyxl，用于过滤特殊的字符

<code><span class="hljs-comment"># coding:utf-8
<span class="hljs-keyword">import csv
<span class="hljs-keyword">import json

<span class="hljs-keyword">import requests
<span class="hljs-keyword">from openpyxl.cell.cell <span class="hljs-keyword">import ILLEGAL_CHARACTERS_RE
<span class="hljs-keyword">import re

line_index = <span class="hljs-number">0

<span class="hljs-function"><span class="hljs-keyword">def <span class="hljs-title">fetchURL<span class="hljs-params">(url):
   
    headers = {
        <span class="hljs-string">"accept": <span class="hljs-string">"*/*",
        <span class="hljs-string">"user-agent": <span class="hljs-string">"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36",
        <span class="hljs-string">"Cookie": <span class="hljs-string">"guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700"
    }

    r = requests.get(url, headers=headers)
    r.raise_for_status()
    <span class="hljs-keyword">return r.text.encode(<span class="hljs-string">"gbk", <span class="hljs-string">"ignore").decode(<span class="hljs-string">"gbk", <span class="hljs-string">"ignore")


<span class="hljs-function"><span class="hljs-keyword">def <span class="hljs-title">parseHtml<span class="hljs-params">(html):

    html = html.replace(<span class="hljs-string">"", <span class="hljs-string">"")
    html = ILLEGAL_CHARACTERS_RE.sub(<span class="hljs-string">r"", html)
    s = json.loads(html,strict=<span class="hljs-literal">False)
    <span class="hljs-keyword">global line_index

    userInfo = []
    <span class="hljs-keyword">for key <span class="hljs-keyword">in s[<span class="hljs-string">"userInfo"]:
        line_index = line_index + <span class="hljs-number">1
        a = (key[<span class="hljs-string">"uid"],key[<span class="hljs-string">"nickname"],key[<span class="hljs-string">"age"],key[<span class="hljs-string">"work_location"],key[<span class="hljs-string">"height"],key[<span class="hljs-string">"education"],key[<span class="hljs-string">"matchCondition"],key[<span class="hljs-string">"marriage"],key[<span class="hljs-string">"shortnote"].replace(<span class="hljs-string">"
",<span class="hljs-string">" "))
        userInfo.append(a)

    <span class="hljs-keyword">with open(<span class="hljs-string">"sjjy.csv", <span class="hljs-string">"a", newline=<span class="hljs-string">"") <span class="hljs-keyword">as f:
        writer = csv.writer(f)
        writer.writerows(userInfo)


<span class="hljs-keyword">if __name__ == <span class="hljs-string">"__main__":
    
    <span class="hljs-keyword">for i <span class="hljs-keyword">in range(<span class="hljs-number">1, <span class="hljs-number">10000):
        url = <span class="hljs-string">"http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=" + str(i) + <span class="hljs-string">"&f=select&listStyle=bigPhoto"
        html = fetchURL(url)
        print(str(i) + <span class="hljs-string">"页" + str(len(html)) + <span class="hljs-string">"*********" * <span class="hljs-number">20)
        parseHtml(html)</span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></code>

二，去重

在处理数据去掉重复的时候发现有好多重复的，还以为是代码写的有问题呢，查了好久的bug最后才发现网站在100页上只有数据有好多重复的，下面两个图分别是110页数据和111页数据，是不是有很多熟面孔。

110页数据

111页数据

过滤重复后的数据只剩下 1872 了，这个水分还真大

<code><span class="hljs-function"><span class="hljs-keyword">def <span class="hljs-title">filterData<span class="hljs-params">():
    filter = []
    csv_reader = csv.reader(open(<span class="hljs-string">"sjjy.csv", encoding=<span class="hljs-string">"gbk"))
    i = <span class="hljs-number">0
    <span class="hljs-keyword">for row <span class="hljs-keyword">in csv_reader:
        i = i + <span class="hljs-number">1
        print(<span class="hljs-string">"正在处理：" + str(i) + <span class="hljs-string">"行")
        <span class="hljs-keyword">if row[<span class="hljs-number">0] <span class="hljs-keyword">not <span class="hljs-keyword">in filter:
            filter.append(row[<span class="hljs-number">0])
    print(len(filter))</span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></code>

喜欢 (0)赏

[搞代码]

分享 (0)