这篇文章主要介绍了python爬虫租房信息在地图上显示的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
本人初学python是菜鸟级，写的不好勿喷。
python爬虫用了比较简单的urllib.parse和requests，把爬来的数据显示在地图上。接下里我们话不多说直接上代码:
1.安装python环境和编辑器（自行度娘）
2.本人以58品牌公寓为例，爬取在杭州地区价格在2000-4000的公寓。
#-*- coding:utf-8 -*- from bs4 import BeautifulSoup from urllib.parse import urljoin import requests import csv import time
以上是需要引入的模块
url = "http://hz.58.com/pinpaigongyu/pn/{page}/?minprice=2000_4000" #已完成的页数序号，初时为0 page = 0
以上的全局变量
csv_file = open(r"c:\users\****\Desktop\houoseNew.csv","a+",newline='') csv_writer = csv.writer(csv_file, delimiter=',')
自定义某个位置来保存爬取得数据，本人把爬取得数据保存为csv格式便于编辑（其中”a+”表示可以多次累加编辑在后面插入数据，建议不要使用“wb”哦！newline=”表示没有隔行）
while True: #为了防止网站屏蔽ip，设置了时间定时器每隔5秒爬一下。打完一局农药差不多都爬取过来了。 time.sleep(5) page +=1 #替换URL中page变量 print (url.format(page=page)+"ok") response = requests.get(url.format(page=page)) html=BeautifulSoup(response.text) #寻找html中DOM节点li house_list = html.select(".list > li") # 循环在读不到新的房源时结束 if not house_list: break for house in house_list: #根据hml的DOM节点<strong style="color:transparent">来源gaodaima#com搞(代@码网</strong>获取自己需要的数据 house_title = house.select("h2")[0].string house_url = urljoin(url, house.select("a")[0]["href"]) house_pic = urljoin(url, house.select("img")[0]["lazy_src"]) house_info_list = house_title.split() # 如果第一列是公寓名 则取第二列作为地址 if "公寓" in house_info_list[0] or "青年社区" in house_info_list[0]: house_location = house_info_list[0] else: house_location = house_info_list[1] house_money = house.select(".money")[0].select("b")[0].string csv_writer.writerow([house_title, house_location, house_money,house_pic ,house_url]) #最后不要忘记关闭节流 csv_file.close()
如果网站屏蔽了你的ip，你可以做一个ip地址数组放在http的头部具体度娘一下吧。
接下来我们写html
只是简单的写了一下写的不好见谅。用的是高德地图，具体的js api可以到高德开发者上去看。
<div id="container"></div><div class="control-panel"> <div class="control-entry"> <label>选择工作地点：</label><div class="control-input"> </div></div><div class="control-entry"> <label>选择通勤方式：</label><div class="control-input"> 公交+地铁 地铁 走路 骑车 </div></div><div class="control-entry"> <label>导入房源文件：</label><div class="control-input"> <button style="margin-top: 10px;width: 50%">开始</button></div></div></div><div id="transfer-panel"></div>
想要获取完整的代码github：https://github.com/DIVIBEAR/pythonDemo.git
新手上路，老司机们勿喷！
以上所述是小编给大家介绍的python爬虫租房信息在地图上显示的方法详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对gaodaima搞代码网网站的支持！
以上就是python爬虫租房信息在地图上显示的方法的详细内容，更多请关注gaodaima搞代码网其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：python爬虫租房信息在地图上显示的方法
转载请注明原文链接：python爬虫租房信息在地图上显示的方法
