• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

求采摘页数多里,怎样分开一部分一部分采

php 搞代码 3年前 (2022-01-24) 15次浏览 已收录 0个评论

求采集页数多里,怎样分开一部分一部分采
连接$url=array()里面一共有1000个页面的URL地址,

我写了一个采集类

foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}

像这样循化出来的$excel_contetns 就是我要采集的内容。

当我采集50页以下,还好,当页数多了,就采集超时了,还请大侠指点一下,我怎么处理一下???
——解决方案-

2本文来源gao!daima.com搞$代!码网

搞代gaodaima码——————-
将 $url 存入数据库
逐次从数据库读取 $value 执行采集,如遇新的 url,重复第一步
——解决方案——————–
不要拘泥于“存不存数据库”,问题的实质是将单一的任务分解成多个任务来完成


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:求采摘页数多里,怎样分开一部分一部分采
喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址