制作NBA数据爬虫
捋顺思路
我们在这里选择的是百度体育带来的数据,我们在百度当中直接搜索NBA跳转到网页,我们可以看到,百度已经为我们提供了相关的数据
# 程序名称 : NBAReporter # 制作时间 : 2021年6月13日 # 运行环境 : Windows 10 import requests from bs4 import BeautifulSoup # 基础数据定义 baidu_nba_url = "https://tiyu.baidu.com/match/NBA/" request_url = "https:" nba_dict = {} # 访问网址 nba_res = requests.get(baidu_nba_url) # print(nba_res.text) # 开始使用解析器 nba_soup = BeautifulSoup(nba_res.text, "html.parser") nba_main = nba_soup.main # print(nba_main) nba_div = nba_main.find_all("div", class_ = "wa-match-schedule-list-wrapper") for i in nba_div: # 获取比赛时间 nba_time = i.find("div", class_ = "date").string.strip() print(nba_time) # 获取比赛的次数 nba_times = i.find("div", class_ = "list-num c-color").string print(nba_times) # 获取详细的比赛地址 nba_href = i.find_all("div", class_ = "wa-match-schedule-list-item c-line-bottom") for url_nba in nba_href: url_nba = url_nba.a url_href = url_nba["href"] real_url = request_url + u<mark>本文来源gaodaimacom搞#代%码@网-</mark>rl_href print(real_url)