问题:
工作中,经常会遇到处理大量数据的情况,比如读一个大的文件,然后对文件内容做处理,例如:
<?php
function read_txt($file)
{
$data = [];
$handle = fopen($file, 'r');
while (!feof($handle)) {
$data[] = fgets($handle);
}
fclose($handle);
return $data;
}
function handle($value)
{
//....
}
$data = read_text('test.txt');
foreach($data as $value){
handle($value);
}
以上例子是我常用的处理数据方式,如果文件内容很多,则会占用大量内存,很可能内存溢出。
解决方式:
我们可以使用生成器来解决问题,通过使用yield替换return,使用过python的同学肯定比较熟悉。使用yield的时候,代码不会立即执行,而是循环时,循环一次,执行一次。
<?php
function read_txt($file)
{
$handle = fopen($file, 'r');
while (!feof($handle)) {
yield fgets($handle);
}
fclose($handle);
}
function handle($value)
{
//....
}
$data = read_text('test.txt');
foreach($data as $value){
handle($value);
}
总结:
一个函数中出现yield,则表示该函数属于生成器函数,每个yield修饰的值会以数组的形式返回;其它函数调用生成器函数并以以结果循环时,每次循环即是调用一个yield值
使用PHP生成器优化大文件处理

这篇博客探讨了在处理大量数据时,如何避免内存溢出的问题。传统的读取大文件方法可能导致内存消耗过大。文章提出了使用PHP的生成器(generator)功能,通过yield关键字实现按需读取和处理文件内容,从而减少内存占用。这种方式使得代码在每次循环时只处理一行数据,显著提高了内存效率。
441

被折叠的 条评论
为什么被折叠?



