• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

php爬虫抓取的链接怎么存储成队列?

php 搞代码 4年前 (2022-01-25) 15次浏览 已收录 0个评论
文章目录[隐藏]

扩展链接函数写完后,把链接存储成队列的函数怎么写呢?

<code>  //扩展链接函数  public function extractLink($page){    $matches=array();    $pat="#href=\"(http://xxxx/yyy/z<a>@本文9来源gao($daima.com搞@代@#码8网^</a><strong>搞代gaodaima码</strong>zz.php\?id=\d+$)\"# i";    preg_match_all($pat,$page,$matches,PREG_PATTERN_ORDER);      for($i=0;$i<count($matches[0]);$i++){        echo $matches[0][$i];        echo "\n";      }  }      </code>

有个视频上说链接库的功能包括:1、 存储链接;2、 对链接去重;3、对链接设置优先级。
实践方案有:1、保存在数据库;2、redis;3、内存集合;4、队列。
但是说到这里视频有问题,后面内容就没有了。

回复内容:

扩展链接函数写完后,把链接存储成队列的函数怎么写呢?

<code>  //扩展链接函数  public function extractLink($page){    $matches=array();    $pat="#href=\"(http://xxxx/yyy/zzz.php\?id=\d+$)\"# i";    preg_match_all($pat,$page,$matches,PREG_PATTERN_ORDER);      for($i=0;$i<count($matches[0]);$i++){        echo $matches[0][$i];        echo "\n";      }  }      </code>

有个视频上说链接库的功能包括:1、 存储链接;2、 对链接去重;3、对链接设置优先级。
实践方案有:1、保存在数据库;2、redis;3、内存集合;4、队列。
但是说到这里视频有问题,后面内容就没有了。

什么视频?什么教程?你在说什么?

队列不就是存成一个数组,然后array_shift, array_push么

可以试试beanstalk


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:php爬虫抓取的链接怎么存储成队列?
喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址