PHP读取大文件的指定行数内容

最新推荐文章于 2023-06-25 11:47:27 发布

转载最新推荐文章于 2023-06-25 11:47:27 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://www.jb51.net/article/39032.htm

文章标签：

#php #开发语言 #后端

后端技术专栏收录该内容

23 篇文章

订阅专栏

这篇博客探讨了如何在PHP中高效地读取大文件的特定行。通过对比SplFileObject和fopen方法，作者发现使用fopen与fgets组合在内存效率上更优。文中提供了一个自定义函数`getFileLines`，该函数根据PHP版本选择合适的方法读取文件的起始行和结束行，并返回内容。测试显示，这种方法在处理8MB文本时内存占用较低。

需要读取一个文件的几行内容，但是文件比较大，所以研究了下php读取大文件的几行内容的方法，写了一个方法，代码如下(加了注释)：

缓存文件如果能够保存在一行, 而利用算法读取指定的行数, 自然会比全部读出来挑选要快得多. 但php似乎这方面比较弱, 不太好操作. 就算使用SplFileObject仍然不是特别可取, 内存压力存在.

复制代码代码如下:

$fp->seek($startLine - 1);

经过测试, 此行代码在8MB文本中游走到最后一行, 内存占用为49KB, 还算不错. 换成fopen方式用fgets跳过的模式, 则花费29KB的内存, fopen还是占优势.

复制代码代码如下:

    function getFileLines($filename, $startLine = 1, $endLine = 50, $method = 'rb')
    {
        $content = array();

        if (version_compare(PHP_VERSION, '5.1.0', '>=')) { // 判断php版本（因为要用到SplFileObject，PHP>=5.1.0） 
            $count = $endLine - $startLine;
            $fp = new \SplFileObject($filename, $method);
            $fp->seek($startLine - 1); // 转到第N行, seek方法参数从0开始计数 
            for ($i = 0; $i <= $count; ++$i) {
                $content[] = $fp->current(); // current()获取当前行内容 
                $fp->next(); // 下一行 
            }
        } else { //PHP<5.1 
            $fp = fopen($filename, $method);
            if (!$fp)
                return 'error:can not read file';
            for ($i = 1; $i < $startLine; ++$i) { // 跳过前$startLine行 
                fgets($fp);
            }

            for ($i; $i <= $endLine; ++$i) {
                $content[] = fgets($fp); // 读取文件行内容 
            }
            fclose($fp);
        }
        return array_filter($content); // array_filter过滤：false,null,'' 
    }