用php更新大量数据,pdo默认会缓存数据,也就是说把数据全部读入内存后再fetch。当数据量很大的时候,会导致内存溢出。
所以这种情况下,我们需要用下面的语句来禁止缓存
$dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
但是今天发现,禁止缓存后执行update就会失败,没有找到官方文档。
这种情况下,我想了一个办法,使用2个连接,一个用于无缓存读数据,一个用于有缓存写数据,这样解决了大数据更新的问题,在这里分享一下。
<?php
$dbh = new PDO(
"mysql:dbname=media;host=192.168.100.28",
"xxx",
"xxx",
array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8'")
);
$dbh2 = new PDO(
"mysql:dbname=media;host=192.168.100.28",
"xxx",
"xxx",
array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8'")
);
$dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sql = <<<EOF
SELECT
ID,URL
FROM
mm_detail
EOF;
$sql2 = <<<EOF
UPDATE
mm_detail
SET
SEARCH_UNIQUE_URL=:SEARCH_UNIQUE_URL
WHERE
ID=:ID
EOF;
$sth = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY));
$sth2 = $dbh2->prepare($sql2, array(PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY));
$sth->execute();
while( $row = $sth->fetch(PDO::FETCH_OBJ) ){
$unique_url = get_unique_url($row->URL);
echo $unique_url."\n";
$rt=$sth2->execute(array(':ID' => $row->ID,':SEARCH_UNIQUE_URL' => $unique_url));
echo "----$rt-----------";
}
注意:不要设置连接持久化PDO::ATTR_PERSISTENT => true,否则2个连接实际上是共享一个连接,设置第一连接为无缓存会在第二个连接里面也生效,导致update失败。