phpExcel导出文件时内存溢出的问题

phpExcel导出文件时内存溢出的问题

在使用PHPExcel导出文件时,经常会因为文件过大导致PHP内存溢出报错,为了解决这个问题,可以使用PHPExcel提供的参数进行优化。这里说的Excel文件过大并不一定是文件大小,更关键的在于文件内存放的数据和格式,如果数据很多,格式又比较丰富,那很容易会将PHP的内存耗尽。

资料2中指出,Excel中一个单元格在不启用缓存的情况下大概占用内存是1K,一个8000行、31列的表格(248000个单元格)需要242MB内存。如果启用缓存,则会降到80MB,效果还是非常明显的。

使用中需要注意,PHPExcel的内存优化参数并不在PHPExcel对象中,需要在PHPExcel实例化之前设置。

$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array( 'memoryCacheSize' => '512MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod,$cacheSettings);

$oExcel = new PHPExcel();

PHPExcel_Settings::setCacheStorageMethod() 的几个参数

将单元格数据序列化后保存在内存中

PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized; 

将单元格序列化后再进行Gzip压缩,然后保存在内存中

PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip; 

缓存在临时的磁盘文件中,速度可能会慢一些

PHPExcel_CachedObjectStorageFactory::cache_to_discISAM;

保存在php://temp

PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp; 

保存在memcache中

$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_memcache;  
$cacheSettings = array( 'memcacheServer'  => 'localhost',  
    'memcachePort'    => 11211,  
    'cacheTime'       => 600  
);  
PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

其它降低内存使用的方法

如果不需要读取Excel单元格格式,可以设置为只读取数据。

$objReader = PHPExcel_IOFactory::createReader('Excel2007');
$objReader->setReadDataOnly(true);
$objPHPExcel = $objReader->load("test.xlsx”);

如果Excel中有多个Sheet,但是我们只需要读取其中几个,为了减少内存消耗,也可以设置。

$objReader = PHPExcel_IOFactory::createReader('Excel2007');
$objReader->setLoadSheetsOnly( array("Worksheet1", "Worksheet2") );
$objPHPExcel = $objReader->load("test.xlsx”);

如果只需要读取Sheet中一定区域,也可以设置过滤器。

class MyReadFilter implements PHPExcel_Reader_IReadFilter
{
    public function readCell($column, $row, $worksheetName = '') {
        // Read title row and rows 20 - 30
        if ($row == 1 || ($row >= 20 && $row <= 30)) {
            return true;
        }

        return false;
    }
}

$objReader = PHPExcel_IOFactory::createReader('Excel2007');
$objReader->setReadFilter( new MyReadFilter() );
$objPHPExcel = $objReader->load("test.xlsx”);

参考资料:
1、phpExcel how do I pass settings into class
2、How to fix memory getting exhausted with PHPExcel?
3、Lowest Memory Cache Method for PHPExcel

转自:https://www.cnblogs.com/cocowool/p/6893774.html

最后个人用了下面这个方法

// 如果是因为特殊字符引起的,可以在load方法之前加上setReadDataOnly(意思是忽略任何格式的信息)方法,就可以避免 $objReader->setReadDataOnly(true);//只需要添加这个方法

$objPHPExcel = $objReader->load($uploadFilePath);

PHP原生处理大型Excel文件可能会遇到内存溢出问题,这是因为一次性将所有数据加载到内存中可能导致内存消耗过大。为了解决这个问题,可以采用分块读取和写入的方式,结合PHPExcel或类似库如Spreadsheet_Excel_Writer这样的工具来逐行或逐列处理数据。 PHPExcel库允许你按需加载工作表的数据,而不是一次性全部加载。例如,你可以创建一个循环,每次只读取并处理一小部分数据,然后再写入到Excel文件中: ```php use PHPExcel_IOFactory; // 假设你有一个大数据集$data $chunkSize = 1000; // 每次处理的行数 for ($i = 0; $i < count($data); $i += $chunkSize) { $chunkData = array_slice($data, $i, $chunkSize); // 创建一个新的PHPExcel实例 $objPHPExcel = PHPExcel_IOFactory::createPHPExcelObject(); // 写入数据到工作表 foreach ($chunkData as $row) { $objPHPExcel->getActiveSheet()->setCellValueByColumnAndRow(0, $i / $chunkSize + 1, $row['column_name']); } // 将数据保存到临文件,然后合并成最终文件 $tmpFile = tempnam(sys_get_temp_dir(), 'export'); $objPHPExcel->save($tmpFile); // 处理完一块后删除临文件,释放内存 unlink($tmpFile); } // 最后将所有的临文件合并成一个完整的Excel文件 $finalFile = 'output.xlsx'; PHPExcel_IOFactory::load('tempfile1.xlsx')->mergeCells('A1:A' . (count($data) / $chunkSize + 1)); // ...重复此过程,将其他临文件合并 PHPExcel_IOFactory::save($finalFile); ``` 使用这种方法可以避免内存溢出,并且能够处理非常大的数据集。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值