文章目录[隐藏]
怎样用curl抓取最新的数据？
比如，我抓取了一个网站的全部信息，然后那个网站更新了，我怎样才能抓取更新的那几条，而不重复抓取。
回复讨论(解决方案)
抓取到了之后保存到本地数据库。 然后找下，最新那几条有什么规律。如果能区分开来，则之前本地数据库有的就修改一下。 实在是区别不来，把所有抓取的都保存一次，如果保存成功了，清理掉以前的数据即可。
只有看到了，才知道是否是新的
curl 用属性 CURLOPT_WRITEFUNCTION
可在回调函数中判断抓取是否可以提前结束
哦，取数据库最大的一个id，然后得到那条信息的id,然后网页得到的id比数据库取出来大的就是最新的。
可是这样不是所有数据都要判断一次，效率不是很低？
（本文来）源gaodaimacom搞#^代%!码&网(
搞gaodaima代码
我懂了，这些时间可以忽略不计，结贴，感谢
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：curl的一些小问题
转载请注明原文链接：curl的一些小问题
