当我们大量的处理爬虫的时候,我们的IP地址容易被封掉 这个时候我们就需要代理IP来帮助我们完成接下来的任务了
这次我采用的是Requests模块来完成请求的
注意事项写在代码中
<a href="https://www.gaodaima.com/tag/import" title="查看更多关于import的文章" target="_blank">import</a> urllib.request import <a href="https://www.gaodaima.com/tag/requests" title="查看更多关于requests的文章" target="_blank">requests</a> # 查询IP http://<a href="https://www.gaodaima.com/tag/ip" title="查看更多关于ip的文章" target="_blank">ip</a>.chinaz.com/getip.aspx url = "http://ip.chinaz.com/getip.aspx" print("原有IP: "+requests.get(url).text) # 构建一个代理IP的格式 #IP ip_data = "47.94.230.42" #端口 port_data = "9999" #固定IP格式 new_data = { "http": ip_data + ":" + port_data } # proxies=IP resquests模块构建请求 print("代理后的IP: "+requests.get(url, proxies=new_data).text) #切换回自己的IP是 当 当前代理IP失效后向代理IP提供商获取新IP的时候需要使用自己的ip print("切换回自己的IP: "+requests.get(url, proxies={"http": ""}).text)
www#gaodaima.com来源gaodaimacom搞#^代%!码&网搞代码
推荐学习《Python教程》。
来源:搞代码网:原文地址:https://www.gaodaima.com