前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
以下文章来源于csdn，作者 王延领
转载地址
<code><span class="hljs-attribute">https:<span class="hljs-comment">//www.cnblogs.<a href="https://www.gaodaima.com/tag/com" title="查看更多关于com的文章" target="_blank">com</a>/kmonkeywyl/p/8409715.html</span></span></code>
www#gaodaima.com来源[email protected]搞@^&代*@码网搞代码
对于一个net开发者爬虫真真的以前没有写过。这段时间开始学习python爬虫，今天周末无聊写了一段代码爬取上海租房图片，其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python 版本：python3.6 ,IDE ：pycharm。
第三方库
首先安装
我是用的pycharm所以另外的脚本安装我这就不介绍了。
如上图打开默认设置选择Project Interprecter，双击pip或者点击加号，搜索要安装的第三方库。其中如果建立的项目多记得Project Interprecter要选择正确的安装位置不然无法导入。
Requests库
requests库的官方定义：Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。其实他就是请求网络获取网页数据的。
<span>import</span><span> requests
header</span>={<span>"</span><span>User-Agent</span><span>"</span>:<span>"</span><span>Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36</span><span>"</span><span>}
res</span>=requests.get(<span>"</span><span>http://sh.58.com/zufang/</span><span>"</span>,headers=<span>header)
</span><span>try</span><span>:
</span><span>print</span><span>(res.text);
</span><span>except</span><span> ConnectionError:
</span><span>print</span>(<span>"</span><span>访问被拒绝！！！</span><span>"</span>)
结果如下：
其中Request Headers的参数如下：
- headers的一些属性：
- Accept:指定客户端能够接收的内容类型，内容类型的先后次序表示客户端接收的先后次序
- Accept-Lanuage:指定HTTP客户端浏览器用来展示返回信息优先选择的语言
- Accept-Encoding指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。表示允许服务器在将输出内容发送到客户端以前进行压缩，以节约带宽。而这里设置的就是客户端浏览器所能够支持的返回压缩格式。
- Accept-Charset:HTTP客户端浏览器可以接受的字符编码集
- User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
- Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。
- application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用
- application/json ： 在 JSON RPC 调用时使用
- application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用
- 在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务
BeautifulSoup库
BeautifulSoup可以轻松的解析Requests库请求的页面，并把页面源代码解析为Soup文档，一边过滤提取数据。这是bs4.2的文档。
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，其中lxml 据说是相对而言比较强大的我下面的暗示是python 标准库的。
选择器select
案例：爬取上海租房图片
<span>import</span><span> requests
</span><span>import</span><span> urllib.request
</span><span>import</span><span> os
</span><span>import</span><span> time
</span><span>from</span> bs4 <span>import</span><span> BeautifulSoup
header</span>={<span>"</span><span>User-Agent</span><span>"</span>:<span>"</span><span>Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36</span><span>"</span><span>}
url</span>=[<span>"</span><span>http://sh.58.com/zufang/pn{}/?ClickID=2</span><span>"</span>.format(number) <span>for</span> number <span>in</span> range(6,51)]<span>#</span><span>分页抓取</span>
adminCout=6
<span>for</span> arurl <span>in</span><span> url:
adminCout</span>=adminCout+1<span>
res</span>=requests.get(arurl,headers=<span>header)
soup</span>=BeautifulSoup(res.text,<span>"</span><span>html.parser</span><span>"</span><span>)
arryImg</span>=soup.select(<span>"</span><span>.img_list img</span><span>"</span><span>)
</span><span>print</span><span>(arryImg)
count </span>=<span> 0;
</span><span>for</span> img <span>in</span><span> arryImg:
</span><span>print</span>(img[<span>"</span><span>lazy_src</span><span>"</span><span>])
_url </span>= img[<span>"</span><span>lazy_src</span><span>"</span><span>]
pathName </span>= <span>"</span><span>E:2333</span><span>"</span> + str(adminCout)+<span>"</span><span>_</span><span>"</span>+str(count) + <span>"</span><span>.jpg</span><span>"</span> <span>#</span><span> 设置路径和文件名</span>
result = urllib.request.urlopen(_url) <span>#</span><span> 打开链接，和python2.x不同请注意了</span>
data = result.read() <span>#</span><span> 否则开始下载到本地</span>
with open(pathName, <span>"</span><span>wb</span><span>"</span><span>) as code:
code.write(data)
code.close()
count </span>= count + 1 <span>#</span><span> 计数+1</span>
<span>print</span>(<span>"</span><span>正在下载第：</span><span>"</span><span>, count)
time.sleep(</span>30)
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：租房子，光看数据怎么够，Python爬取某站租房图片
转载请注明原文链接：租房子，光看数据怎么够，Python爬取某站租房图片
