• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

请问如何更快速有效的爬网站?

php 搞代码 4年前 (2022-01-23) 12次浏览 已收录 0个评论

大家好,其实我是门外汉,我上学的时候,玩过大话西游,QQ幻想,后来洛奇,学了一点按键精灵(一种和vb差不多的编程语言),辅助我玩游戏来着。这是我的编程基础。

要是我爬别人的网站,就会先把需要爬的url保存在TXT,或者Excel文件里。

用按键精灵打开浏览器,模拟手动(快捷键或者鼠标点击)输入TXT或者Excel的网址。

然后模拟手动全选,然后用 处理字符串函数,mid,right,left,len,instr 这些提取需要的字符串。

然后保存到Excel,或者是 txt 。

这样做其实很费机器,CPU使用很高,而且网速占用也很高。因为要加载很多不需要的图片,如图片,flash,mpg文件等。
而且经常出错,可能是excel出错,也可能是脚本出错,很多时候是浏览器出错。

请问大家,你们是怎么做的呢?

我目前会php,MySQL,JavaScript,jQuery,ajax 等编程语言。对json,xml,html 的数据,也都了解了。

希望大家结合我会的,当然以方便为主,有更方便的也可以告诉一下。

另外对于浏览器的调试信息,也就是f12的面板,我就会看js的输出。

只要有思路,欢迎大家回答,我起点低,基本是来@源gao*daima.com搞@代#码网搞gaodaima代码个回答都对我有帮助,谢谢了!


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:请问如何更快速有效的爬网站?

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址