python可以下载网页的源代码,使用urllib库,或者使用更为方便的requests库。
import urllib2 def download(url, num_retries = 5): ''' function: 下载<a href="https://www.gaodaima.com/tag/%e7%bd%91%e9%a1%b5" title="查看更多关于网页的文章" target="_blank">网页</a>源代码,如果遇到 5xx 错误状态,则继续尝试下载,直到下载 num_retries 次为止。 ''' print "downloading " , url try: html = urllib2.urlopen(url).read() except urllib2.URLError as e: print "download error: " , e.reason html = None if num_retries > 0: if hasattr(e,'code') and 500 <= e.code < 600: return download(url, num_retries-1) return html
www#gaodaima.com来源gao.dai.ma.com搞@代*码网搞代码
其中 url 即为你想现在的网页地址。 num_reties 为遇到 5xx 错误的时候,重试下载的次数。
更多学习内容,请点击搞代码网。
来源:搞代码网:原文地址:https://www.gaodaima.com