具本文来源[email protected]搞@^&代*@码)网9搞代gaodaima码体的场景：php从网站列表上抓取数据，然后直接插入mysql数据库，使用cli模式运行，一次可能要插入上万条数据
我之前的代码是这样的：
<code class="php">ini_set('memory_limit', '512M');$con = mysqli_connect(''');for(...) {//爬虫抓取代码省略mysqli_query($con,'抓取后生成的insert语句');}</code>
这样差不多半天就会报Allowed memory size of 536870912 bytes exhausted (tried to allocate 1542571 bytes)
PS：如果不执行mysql插入操作，而直接将sql语句file_put_contents到一个文件中，那是不会报错的，所以排除爬虫代码的问题
现在我把mysql的插入语句封装成一个方法：
<code class="php">function execute($query){ $mysqli = new mysqli(...); $mysqli->query('set names utf8mb4'); $mysqli->query($query); $mysqli->close();}</code>
不知道还会不会发生这个问题呢？
各位有什么好办法么？
回复内容：
具体的场景：php从网站列表上抓取数据，然后直接插入mysql数据库，使用cli模式运行，一次可能要插入上万条数据
我之前的代码是这样的：
<code class="php">ini_set('memory_limit', '512M');$con = mysqli_connect(''');for(...) {//爬虫抓取代码省略mysqli_query($con,'抓取后生成的insert语句');}</code>
这样差不多半天就会报Allowed memory size of 536870912 bytes exhausted (tried to allocate 1542571 bytes)
PS：如果不执行mysql插入操作，而直接将sql语句file_put_contents到一个文件中，那是不会报错的，所以排除爬虫代码的问题
现在我把mysql的插入语句封装成一个方法：
<code class="php">function execute($query){ $mysqli = new mysqli(...); $mysqli->query('set names utf8mb4'); $mysqli->query($query); $mysqli->close();}</code>
不知道还会不会发生这个问题呢？
各位有什么好办法么？
你目前的做法是上万次插入上万条数据，而不是一次插入上万条数据。
From
<code class="mysql">INSERT INTO tbl_name (a,b,c) VALUES (1,2,3);INSERT INTO tbl_name (a,b,c) VALUES (4,5,6);INSERT INTO tbl_name (a,b,c) VALUES (7,8,9);</code>
To
<code class="mysql">INSERT INTO tbl_name (a,b,c)VALUES (1,2,3), (4,5,6), (7,8,9);</code>
数据库插入操作改为批量提交方式
<code>$sql = array(); foreach( $data as $row ) { $sql[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';}mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $sql));</code>
之前做个一个类似的功能，规模是大几十万条
我是用的web方式去执行，在for{}中判断一个条件，比如达到万条后跳转回本页面，把n*10000这个参数传过去。
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：mysql – php写的爬虫报内存不足
转载请注明原文链接：mysql – php写的爬虫报内存不足
