本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
以下文章来源于云边镇 ，作者花花
前言
软科世界大学学术排名（ShanghaiRanking’s Academic Ranking of World Universities，简称ARWU）于2003年由上海交通大学世界一流大学研究中心首次发布，是世界范围内首个综合性的全球大学排名。2009年开始由软科发布并保留所有权利。软科世界大学学术排名是全球最具影响力和权威性的大学排名之一，在世界各地被广泛报导和大量引用，许多国家的政府和大学以ARWU为标准，制定战略目标和发展规划，采取各种举措来提升大学的国际竞争力。软科世界大学学术排名以评价方法的客观、透明和稳定著称，全部采用国际可比的客观指标和第三方数据，包括获诺贝尔奖和菲尔兹奖的校友和教师数、高被引科学家数、在《Nature》和《Science》上发表的论文数、被SCIE和SSCI收录的论文数、师均学术表现等（查看排名方法）。软科世界大学学术排名每年排名的全球大学超过2000所，发布最为领先的前1000所大学。
查看网页源代码
查看文本文件中的HTML信息
开发环境
- Python 3.8
- Spyder
爬取数据
<span>#</span><span>爬取软科世界大学学术排名</span>
<span>import</span><span> requests
</span><span>from</span> bs4 <span>import</span><span> BeautifulSoup
</span><span>if</span> <span>__name__</span> == <span>"</span><span>__main__</span><span>"</span><span>:
destinationPath </span>= <span>"</span><span>html信息.txt</span><span>"</span><span>
allUniv </span>=<span> []
</span><span>#</span><span> headers={"User-Agent":"Mozilla/5.0"}</span>
url= <span>"</span><span>https://www.shanghairanking.cn/rankings/arwu/2020</span><span>"</span>
<span>try</span><span>:
r </span>= requests.get(url=url, timeout=30<span>)
r.raise_for_status()
r.encoding </span>= <span>"</span><span>utf-8</span><span>"</span><span>
html </span>=<span> r.text
</span><span>except</span><span>:
html </span>= <span>""</span>
<span>#</span><span> fd = open(destinationPath,"w+") # 注意这里会报错：UnicodeEncodeError: "gbk" codec can"t encode character "xa9" in position 0: illegal multibyte sequence</span>
fd = open(destinationPath,<span>"</span><span>w+</span><span>"</span>,encoding=<span>"</span><span>utf-8</span><span>"</span><span>)
fd.writelines(html)
fd.close()
</span><span>#</span><span> print(html) # 注意在vscode下这里打印不全，故将结果保存在文件中 </span>
<span>
soup </span>= BeautifulSoup(html, <span>"</span><span>html.parser</span><span>"</span><span>)
</span><span>#</span><span> fillUnivList(soup)</span>
<span>#</span><span> printUnivList(10)</span>
<span>print</span>(<span>"</span><span>{0:{5}<10}{1:{5}^10}{2:{5}^12}{3:{5}^10}{4:{5}^10}</span><span>"</span>.format(<span>"</span><span>排名</span><span>"</span>,<span>"</span><span>学校名称</span><span>"</span>,<span>"</span><span>国家</span><span>"</span>,<span>"</span><span>排名</span><span>"</span>,<span>"</span><span>总分</span><span>"</span>,(chr(12288<span>))))
data </span>= soup.find_all(<span>"</span><span>tr</span><span>"</span><span>)
</span><span>for</span> tr <span>in</span> data: <span>#</span><span> 每一行，对应每一个学校</span>
ltd = tr.find_all(<span>"</span><span>td</span><span>"</span><span>)
</span><span>if</span> len(ltd)==<span>0:
</span><span>continue</span><span>
singleUniv </span>=<span> []
</span><span>#</span><span> UniName = tr.find("a")</span>
<span>#</span><span> singleUniv = [UniName.string]</span>
<span>for</span> td <span>in</span><span> ltd:
</span><span>if</span> td.find(<span>"</span><span>a</span><span>"</span><span>):
UniName </span>= td.find(<span>"</span><span>a</span><span>"</span><span>).string
singleUniv.append(UniName)
</span><span>elif</span><span> td.string.strip():
singleUniv.append(td.string.strip())
allUniv.append(singleUniv)
</span><span>#</span><span> print(singleUniv)</span>
<span>#</span><span> num = len(allUniv)</span>
num = 30
<span>for</span> i <span>in</span><span> range(num):
u</span>=<span>allUniv[i]
</span><span>print</span>(<span>"</span><span>{0:<10}{1:{5}^20}{2:{5}<10}{3:{5}^4}{4:^33}</span><span>"</span>.format(u[0],u[1],u[2],u[3],u[4],(chr(12288))))<span>#</span><span>排版原因，实为一行</span>
<span>print</span>(<span>"</span><span>{0:{5}<10}{1:{5}^10}{2:{5}^12}{3:{5}^10}{4:{5}^10}</span><span>"</span>.format(<span>"</span><span>排名</span><span>"</span>,<span>"</span><span>学校名称</span><span>"</span>,<span>"</span><span>国家</span><span>"</span>,<span>"</span><span>排名</span><span>"</span>,<span>"</span><span>总分</span><span>"</span>,(chr(12288))))
www#gaodaima.com来源gaodai#ma#com搞*!代#%^码$网搞代码
爬取结果
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：Python爬虫练习：爬取软科世界大学学术排名
转载请注明原文链接：Python爬虫练习：爬取软科世界大学学术排名
