在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为
# encoding: utf-8import base64proxyServer = 代理服务器地址 ##我的是‘:9010’# 代理隧道验证信息 这个是在那个网站上申请的proxyUser = 用户名proxyPass = 密码proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)class ProxyMiddleware(object): def process_request(self, request, spider): request.meta["proxy"] = proxyServer request.headers["Proxy-Authorization"] = proxyAuth在setting文件中添加
DOWNLOADER_MIDDLEWARES = { '项目名.spider同级文件<div>本文来源gaodai.ma#com搞##代!^码@网3</div>名.文件名.ProxyMiddleware': 543,}代码地址
<br />
以上就是分享一篇python scrapy ip代理的设置实例的详细内容，更多请关注搞代码gaodaima其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：分享一篇python scrapy ip代理的设置实例
转载请注明原文链接：分享一篇python scrapy ip代理的设置实例
