curl 获取api的接口数据，while循环page++接收处理数据，每页100条数据。数据总共十几万条。老是服务器超时，如何解决？
max_execution_time set_time_limit
回复内容：
curl 获取api的接口数据，while循环page++接收处理数据，每页100条数据。数据总共十几万条。老是服务器超时，如何解决？
max_execution_time set_time_limit
￥本文来%源[email protected]搞@^&代*@码)网5搞gaodaima代码
人家受不了了，你就弄慢点啊，sleep一下~
如果是坐蜘蛛抓人家页面内容，建议利用程序通过代理IP去抓取，否则人家看你抓取频繁直接封IP，就麻烦了；
如果是自己内部的，就像 @ChanneW 说的，sleep时间长点，慢点抓
确实有这样的问题，最好的解决办法是结合数据库做一个采集应用，采集成功的修改状态为1，采集不到的修改状态为0，然后通过定时脚本，轮询采集
分析失败原因，是不是上班时间段访问量比较大，导致的，可以错开该时间段，比如晚上／凌晨采集，希望能帮到你。
为防止超时，还可以进行不停刷新跳转。重新进行请求。
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：curl 分页获取十几万的数据 服务器超时，如何解决？
转载请注明原文链接：curl 分页获取十几万的数据 服务器超时，如何解决？
