这篇文章主要介绍了Selenium+BeautifulSoup+json获取Script标签内的json数据,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学来源gao.dai.ma.com搞@代*码网习吧
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中,
假设Script标签下代码如下:
此时drive.find_elements_by_xpath(‘//*[@id=”DATA_INFO”] 只能定位到元素,但是无法通过.text方法,获取Script标签下的json数据
from bs4 import BeautifulSoup as bs import json as js #selenium获取当前页面源码 html = drive.page_source #BeautifulSoup转换页面源码 bs=BeautifulSoup(html,'lxml') #获取Script标签下的完整json数据,并通过json加载成字典格式 js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text()) #获取Script标签下的nickname 值 js_tes
以上就是Selenium+BeautifulSoup+json获取Script标签内的json数据的详细内容,更多请关注gaodaima搞代码网其它相关文章!