这篇文章主要介绍了利用python批量爬取百度任意类别的图片的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
利用python批量爬取百度任意类别的图片时：
（1）：设置类别名字。
（2）：设置类别的数目，即每一类别的的图片数量。
（3）：编辑一个txt文件，命名为name.txt，在txt文件中输入类别，此类别即为关键字。并将txt文件与python源代码放在同一个目录下。
python源代码：
# -*- coding: utf-8 -*- """ Created on Sun Sep 13 21:35:34 2020 @author: ydc """ import re import requests from urllib import error from bs4 import BeautifulSoup import os num = 0 numPicture = 0 file = '' List = [] def Find(url, A): global List print('正在检测图片总数，请稍等.....') t = 0 i = 1 s = 0 while t = numPicture: return if __name__ == '__main__': # 主函数入口 headers = { 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2', 'Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0', 'Upgrade-Insecure-Requests': '1' } A = requests.Session() A.headers = headers ############################### tm = int(input('请输入每类图片的下载数量 ')) numPicture = tm line_list = [] with open('./name来源gaodai#ma#com搞@代~码网.txt', encoding='utf-8') as file: line_list = [k.strip() for k in file.readlines()] # 用 strip()移除末尾的空格 for word in line_list: url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + word + '&pn=' tot = Find(url, A) Recommend = recommend(url) # 记录相关推荐 print('经过检测%s类图片共有%d张' % (word, tot)) file = word + '文件' y = os.path.exists(file) if y == 1: print('该文件已存在，请重新输入') file = word + '文件夹2' os.mkdir(file) else: os.mkdir(file) t = 0 tmp = url while t <numpicture: try: url=tmp + str(t) # result=requests.get(url, timeout=10) 这里搞了下 a.get(url, allow_redirects=False) print(url) except error.httperror as e: print('网络错误，请调整网络后重试') t 60 else: dowmloadpicture(result.text, word) numpicture=numPicture tm print('当前搜索结束，感谢使用') 到此这篇关于利用python批量爬取百度任意类别的图片的实现方法的文章就介绍到这了,更多相关python批量爬取百度图片内容请搜索gaodaima搞代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持gaodaima搞代码网！
以上就是利用python批量爬取百度任意类别的图片的实现方法的详细内容，更多请关注gaodaima搞代码网其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：利用python批量爬取百度任意类别的图片的实现方法
转载请注明原文链接：利用python批量爬取百度任意类别的图片的实现方法
