本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
以下文章来源于IT共享之家 ，作者IT共享者
前言
小米应用商店给用户发现最好的安卓应用和游戏,安全可靠，可是要下载东西要一个一个地搜索太麻烦了。而且速度不是很快。
今天用多线程爬取小米应用商店的游戏模块。快速获取。
二、项目目标
目标 ：应用分类 – 聊天社交 应用名称， 应用链接，显示在控制台供用户下载。
三、涉及的库和网站
1、网址：百度搜 – 小米应用商店，进入官网。
2、涉及的库：requests、threading 、queue 、json、time
3、软件：PyCharm
四、项目分析
1、确认是否为动态加载。
通过页面局部刷新， 右键查看网页源代码，搜索关键字未搜到 。断定此网站为动态加载网站，需要抓取网络数据包分析。
2、使用chrome浏览器，F12抓取网络数据包。
1）抓取返回json数据的URL地址（Headers中的Request URL）。
http://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30
2）查看并分析查询参数（headers中的Query String Parameters）。
page: 1<span> categoryId: </span>2<span> pageSize: </span>30
发现只有page再变，0 1 2 3 … … ，这样我们就可以通过控制page的直拼接多个返回json数据的URL地址。
五、项目实施
1、我们定义一个class类继承object，然后定义init方法继承self，再定义一个主函数main继承self。准备导入库，url地址和请求头headers。
<span>import</span><span> requests
</span><span>from</span> threading <span>import</span><span> Thread
</span><span>from</span> queue <span>import</span><span> Queue
</span><span>import</span><span> json
</span><span>import</span><span> time
</span><span>class</span><span> XiaomiSpider(object):
</span><span>def</span> <span>__init__</span><span>(self):
self.headers </span>= {<span>"</span><span>User-Agent</span><span>"</span>:<span>"</span><span>Mozilla/5.0</span><span>"</span><span>}
self.url </span>= <span>"</span><span>http://app.mi.com/categotyAllListApi?page={}&categoryId=15&pageSize=30</span><span>"</span>
<span>def</span><span> main(self):
</span><span>pass</span>
<span>if</span> <span>__name__</span> == <span>"</span><span>__main__</span><span>"</span><span>:
imageSpider </span>=<span> XiaomiSpider()
imageSpider.main()</span>
2、定义队列，用来存放URL地址
self.url_queue = Queue()
3、URL入队列
<span>def</span><span> url_in(self): </span><span>#</span><span> 拼接多个URL地址,然后put()到队列中</span> <span>for</span> i <span>in</span> range(67<span>): self.url.format((str(i))) self.url_queue.put(self.url)</span>
4、定义线程事件函数get_page(请求数据)
<span>defget_page(self):
</span><span>#</span><span> 先get()URL地址,发请求</span>
<span>while</span><span> True:
</span><span>#</span><span> 当队列不为空时,获取url地址</span>
<span>if</span> <span>not</span><span> self.url_queue.empty():
url </span>=<span> self.url_queue.get()
html </span>= requests.get(url,headers=<span>self.headers).text
self.parse_page(html)
</span><span>else</span><span>:
</span><span>break</span>
5、定义函数parse_page 解析json模块，提取应用名称，应用链接内容。
<span>#</span><span> 解析函数</span>
<span>def</span><span> parse_page(self,html):
app_json </span>=<span> json.loads(html)
</span><span>for</span> app <span>in</span> app_json[<span>"</span><span>data</span><span>"</span><span>]:
</span><span>#</span><span> 应用名称</span>
name = app[<span>"</span><span>displayName</span><span>"</span><span>]
</span><span>#</span><span> 应用链接</span>
link = <span>"</span><span>http://app.mi.com/details?id={}</span><span>"</span>.format(app[<span>"</span><span>packageName</span><span>"</span><span>])
d </span>= { <span>"</span><span>名称</span><span>"</span> : name,<span>"</span><span>链接</span><span>"</span><span> : link }
</span><span>print</span>(d)
6、main方法， 定义t_list = [] 存放所有线程的列表。调用get_page多线程爬取。
<span>def</span><span> main(self):
self.url_in()
</span><span>#</span><span> 存放所有线程的列表</span>
t_list =<span> []
</span><span>for</span> i <span>in</span> range(10<span>):
t </span>= Thread(target=<span>self.get_page)
t.start()
t_list.append(t)</span>
7、for循环遍历列表，统一回收线程。
<span>#</span><span> 统一回收线程for p in t_list: p.join()</span>
8、统计一下执行时间。
start =<span> time.time() spider </span>=<span> XiaomiSpider() spider.main() end </span>=<span> time.time() </span><span>print</span>(<span>"</span><span>执行时间:%.2f</span><span>"</span> % (end-start))
六、效果展示
1、运行程序。点击运行，将游戏名称，下载链接，执行时间，显示在控制台。
2、点击蓝色的网址可以直接去到下载页面下载应用，如下图所示。
转载请注明原文链接：Python爬虫过程解析：多线程获取小米应用商店数据
