最近要到某网站上抓取一些数据，我到该网站上看了一下，发现我要抓取的数据是通过ajax异步加载的，有什么办法可以抓取到吗？我打算使用node.js或者php
本@文来源[email protected]搞@^&代*@码网(搞代gaodaima码
回复内容：
最近要到某网站上抓取一些数据，我到该网站上看了一下，发现我要抓取的数据是通过ajax异步加载的，有什么办法可以抓取到吗？我打算使用node.js或者php
开发者工具里扫一眼请求的详情，看看需不需要验证（有些网站很二逼的，随便你请求）。如果有任何验证机制，那么你就别费这个心了，爬虫的干活吧。
题主搜一搜headless browser，前端测试框架什么的。
其实有很多方案，selenium，phantomjs，casperjs，qtwebkit等等等等
我们采用的是casperjs。把每个ajax请求完成后保存网页，放入队列，这样的话后面的分析程序就只要分析html就好了。
casperjs这货和nodejs一起使用的时候时不时会有点小问题（我遇到的问题都不大，很好解决），如果不想麻烦，npm安装spookyjs，据说就可以把casperjs作为node的模块来使用了。
当然，请求不复杂，无需验证的话，直接观察请求就可以了。
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：网页上通过ajax异步加载的数据有什么办法抓取到吗？
转载请注明原文链接：网页上通过ajax异步加载的数据有什么办法抓取到吗？
