• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

关于python:08页面解析之数据提取python爬虫

python 搞代码 3年前 (2022-02-20) 58次浏览 已收录 0个评论
文章目录[隐藏]

​一般来讲对咱们而言,须要抓取的是某个网站或者某个利用的内容,提取有用的价值,内容个别分为两局部,非结构化的文本,或结构化的文本。

对于结构化的数据

JSON、XML、HTML

HTML文本(蕴含JavaScript代码)是最常见的数据格式,理当属于结构化的文本组织,但因为个别咱们须要的要害信息并非间接能够失去

须要进行对HTML的解析查找,甚至一些字符串操作能力失去,所以还是归类于非结构化的数据处理中。

把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。

常见解析形式如下:XPath、CSS选择器、正则表达式

HTML DOM 示例

HTML DOM 定义了拜访和操作 HTML 文档的规范办法。

DOM 以树结构表白 HTML 文档。

文本数据

例如一篇文章,或者一句话,咱们的初衷是提取无效信息,所以如果是滞后解决,能够间接存储,如果是须要实时提取有用信息,常见的解决形式如下:

  • 分词依据抓取的网站类型,应用不同词库,进行根本的分词,而后变成词频统计,相似于向量的示意,词为方向,词频为长度。
  • NLP自然语言解决,进行语义剖析,用后果示意,例如正负面等。

IT入门 感激关注 |  练习地址:www.520mg.com/it


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:关于python:08页面解析之数据提取python爬虫

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址