先把要抓取的网络地址列在单独的list文件中
http://www.gaodaima.com/article/83440.htmlhttp://www.gaodaima.com/article/83437.htmlhttp://www.gaodaima.com/article/83430.htmlhttp://www.gaodaima.com/article/83449.html
然后我们来看程序操作，代码如下：
#!/usr/bin/pythonimport osimport sysimport urllib2import redef Cdown_data(fileurl, fpath, dpath): if not os.path.exists(dpath): os.makedirs(dpath) try: getfile = urllib2.urlopen(fileurl) data = getfile.read() f = open(fpath, 'w') f.write(data) f.close() except: print with open('u1.list') as lines:<strong style="color:transparent">本文来源gao@daima#com搞(%代@#码网@</strong> for line in lines: URI = line.strip() if '?' and '%' in URI: continue elif URI.count('/') == 2: continue elif URI.count('/') > 2: #print URI,URI.count('/') try: dirpath = URI.rpartition('/')[0].split('//')[1] #filepath = URI.split('//')[1].split('/')[1] filepath = URI.split('//')[1] if filepath: print URI,filepath,dirpath Cdown_data(URI, filepath, dirpath) except: print URI,'error'
原文网址为：http://www.diyoms.com/python/1806.html
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：Python使用urllib2模块抓取HTML页面资源的实例分享
转载请注明原文链接：Python使用urllib2模块抓取HTML页面资源的实例分享
