这篇文章主要为大家详细介绍了python递归下载文件夹下所有文件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
最近想备份网站，但是php下载文件的大小是有大小限制的，而我也懒得装ftp再下载了，就想着暂时弄个二级域名站，然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。（0-0就是这么任性）
1.安装requests库
pip install requests
2.下载文件夹下所有文件及文件夹
这里需要处理的地方主要是文件夹，这里我们判断出该链接是文件夹时，自动创建文件夹，并递归继续进行操作，否则判断该链接是文件，直接使用requests get方法下载，话不多说，看代码
####春江暮客 www.bobobk.com import requests import re import os import sys def help(script): text = 'python3 %s https://www.bobobk.com ./' % script print(text) def get_file(url,path):##文件下载函数 content = requests.get(url) print("write %s in %s" % (url,path)) filew = open(path+url.split("/")[-1],'wb') for chunk in content.iter_content(chunk_size=512 * 1024): if chunk: # filter out keep-alive new chunks filew.write(chunk) filew.close() def get_dir(url,path): #文件夹处理逻辑 content = requests.get(url).text if "<title>Index of" in content: sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content) print(sub_url) for i in sub_url: if "/" in i: i = i.split("/")[0] print(i) if i!="." and i!="..": if not os.direxists(path+i): os.mkdir(path+i) get_dir(url+"/"+i,path+i+"/") print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/") else: get_file(url+"/"+i,path) else:<div style="color:transparent">来源gaodai.ma#com搞#代!码网</div> get_file(url,path) if __name__ == '__main__': if not sys.argv[1]: help(sys.argv[0]) exit(0) else: get_dir(sys.argv[1],"./")
至此，就在本地目录完全还原下载原网站的路径和文件了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持gaodaima搞代码网。
以上就是python递归下载文件夹下所有文件的详细内容，更多请关注gaodaima搞代码网其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：python递归下载文件夹下所有文件
转载请注明原文链接：python递归下载文件夹下所有文件
