前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
本次目标
爬取娟娟壁纸网的图片
受难者地址
<code><span class="hljs-attribute">http:<span class="hljs-comment">//<a href="https://www.gaodaima.com/tag/www" title="查看更多关于www的文章" target="_blank">www</a>.jj20.<a href="https://www.gaodaima.com/tag/com" title="查看更多关于com的文章" target="_blank">com</a>/</span></span></code>
www#gaodaima.com来源gaodai.ma#com搞#代!码网搞代码
环境
Python3.6
pycharm
爬虫代码
导入工具
<span><a href="https://www.gaodaima.com/tag/import" title="查看更多关于import的文章" target="_blank">import</a></span><span> requests </span><span>import</span> parsel
请求头
headers =<span> {
</span><span>"</span><span>User-Agent</span><span>"</span>: <span>"</span><span>Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36</span><span>"</span><span>
}</span>
解析目标网站的数据
<span>for</span> page <span>in</span> range(1, 17<span>):
url </span>= <span>"</span><span>http://www.jj20.com/bz/ktmh/list_16_cc_14_{}.html</span><span>"</span><span>.format(page)
response </span>= requests.get(url=url, headers=<span>headers)
selector </span>=<span> parsel.Selector(response.text)
lis </span>= selector.css(<span>"</span><span>body > div:nth-child(7) > ul li</span><span>"</span><span>)
</span><span>for</span> li <span>in</span><span> lis:
page_url </span>= <span>"</span><span>http://www.jj20.com/</span><span>"</span> + li.css(<span>"</span><span>a:nth-child(1)::attr(href)</span><span>"</span><span>).get()
title </span>= li.css(<span>"</span><span>a:nth-child(1) img::attr(alt)</span><span>"</span><span>).get()
get_img(page_url, title)</span>
保存数据
<span>def</span><span> download(img_url, img_title):
path </span>= <span>"</span><span>保存地址</span><span>"</span> + title + <span>"</span><span>.jpg</span><span>"</span><span>
response </span>= requests.get(url=img_url, headers=<span>headers)
with open(path, mode</span>=<span>"</span><span>wb</span><span>"</span><span>) as f:
f.write(response.content)
</span><span>print</span>(img_url, img_title)
运行结果
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：没有爬过的壁纸网站越来越少了，找到一个不错的（附源码）
转载请注明原文链接：没有爬过的壁纸网站越来越少了，找到一个不错的（附源码）
