本文主要介绍了python使用xpath获取页面元素的使用，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
关于python 使用xpath获取网页信息的方法？
1、xpath的使用方法？
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
常用路径表达式含义
| 表达式 | 描述 |
|---|---|
| / | 从根节点选取（取子节点） |
| // | 选择的当前节点选择文档中的节点 |
| . | 选取当前节点。 |
| … | 选取当前节点的父节点。 |
| @ | 选取属性 |
| * | 表示任意内容（通配符） |
| | | 运算符可以选取多个路径 |
常用功能函数
| 函数 | 用法 | 解释 |
|---|---|---|
| startswith() | xpath(‘//div[starts-with(@id,”ma”)]‘) | #选取id值以ma开头的div节点 |
| contains() | xpath(‘//div[contains(@id,”ma”)]‘) | #选取id值包含ma的div节点 |
| and() | xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) | #选取id值包含ma的div节点 |
| text() | _.xpath(‘./div/div[4]/a/em/text()’) | #选取em标签下文本内容 |
备注：
1、html中当相同层次存在多个标签例如div,它们的顺序是从1开始，不是0
2、浏览器中使用开发者工具可以快速获取节点信息
2、实例：
#!/usr/bin/pytho<div style="color:transparent">来源gaodai.ma#com搞##代!^码@网</div>n3 # -*- coding: utf-8 -*- # @Time : 2021/9/7 9:35 # @Author : Sun # @Email : [email protected] # @File : sun_test.py # @Software: PyCharm import requests from lxml import etree def get_web_content(): try: url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E" "9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d" "abdf18ae8ab5c&page=5&s=116&click=0 " header = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)" "AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/75.0.3770.100 Safari/537.36 "} response = requests.request(method="Get", url=url, headers=header) result = response.text return result except TimeoutError as e: return None def parsing(): result = get_web_content() if result is not None: html = etree.HTML(result) # 先获取一个大的节点，包含了想要获取的所有信息 ii = html.xpath('//*[@id="J_goodsList"]/ul/li') for _ in ii: # 采用循环，依次从大节点中获取小的节点内容 # ''.join() 将列表中的内容拼接成一个字符串 infoResult = { # @href 表示：获取属性为href的内容 'href': "https:" + _.xpath('./div/div[1]/a/@href')[0], 'title': ''.join( _.xpath('./div/div[2]/div/ul/li/a/@title')), # text()表示获取节点i里面的文本信息 'price': _.xpath('./div/div[3]/strong/i/text()')[0], 'info': ''.join( _.xpath('./div/div[4]/a/em/text()')).strip(), 'province': _.xpath('./div/div[9]/@data-province')[0]} print(infoResult) else: raise Exception("Failed to get page information, please check！") return None if __name__ == '__main__': parsing()
结果图片：
到此这篇关于python使用xpath获取页面元素的使用的文章就介绍到这了,更多相关python xpath获取页面元素内容请搜索gaodaima搞代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持gaodaima搞代码网！
以上就是python使用xpath获取页面元素的使用的详细内容，更多请关注gaodaima搞代码网其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：python使用xpath获取页面元素的使用
转载请注明原文链接：python使用xpath获取页面元素的使用
