phpspreadsheet读取大批量数据时内存溢出解决办法

本文介绍了在使用phpspreadsheet读取大量(如几万条)Excel数据时遇到内存溢出的问题,提出了解决方案。通过将大表格切割为多个CSV文件,分批读取,有效降低内存使用,虽然增加处理时间,但适用于时间要求不严格的场景。文中还建议,当数据量小于2.5万条时,可直接使用phpspreadsheet进行读取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

需求:一次性读取几万条excel数据并保存到数据库中

问题:当excel超过五万条时内存溢出,程序直接停止

解决办法:将表格切割成多个csv文件,每次只读取一部分数据,大大缓解服务器内存压力,缺点是处理时间会变长,适用于对时间要求不是很高的场景。

建议:小于两万五千条时phpspreadsheet直接读取,大于时采取分割法,下边只附分割法的代码

/**
 * 预读过滤类
 * @author wangyelou
 * @date 2018-07-30
 */
class MyAheadreadFilter implements \PhpOffice\PhpSpreadsheet\Reader\IReadFilter
{
    public $record = array();
    private $lastRow = '';
    
    public function readCell($column, $row, $worksheetName = '')
    {
        if (isset($this->record[$worksheetName]) ) {
            if ($this->lastRow != $row) {
                $this->record[$worksheetName] ++;
                $this->lastRow = $row;
            }
        } else {
            $this->record[$worksheetName] = 1;
            $this->lastRow = $row;
        }
        return false;
    }
}

/**
 * 解析过滤类
 * @author wangyelou
 * @date 2018-07-30
 */
class MyreadFilter implements \PhpOffice\PhpSpreadsheet\Reader\IReadFilter
{
    public $startRow;
    public $endRow;
    public $worksheetName;
    
    public function readCell($column, $row, $worksheetName = '')
    {
        if ($worksheetName == $this->worksheetName && $row >= ($this->startRow+1) && $row <= ($this->endRo
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值