百万级数据导出方案（生成器直接输出单个CSV）

最新推荐文章于 2024-05-09 15:26:51 发布

原创

最新推荐文章于 2024-05-09 15:26:51 发布 · 462 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#php

本文介绍了如何在PHP中使用生成器处理百万级数据导出，避免内存溢出，重点讲解了yield原理以及如何配合mysqli_query进行逐行查询，同时解决了mysqli_resultObject与CSV写入的问题。

时间：2019-10-30 23:00:40

概述：

之前写过一篇文章叫PHP百万级数据导出方案（多csv文件压缩），发现很多朋友都很感兴趣，但是当时用的方法比较不方便，可能不太符合很多人的需求。后来想了一下如何优化时，了解到能用生成器来处理内存溢出更方便，所以当时文章中也补充分享了一下这想法。然而，发现更多朋友对如何结合生成器导出数据感兴趣，因此这篇文章，我来填下坑。
准备：
1、了解生成器yield

我上篇文章PHP百万级数据导出方案（多csv文件压缩）说了几个坑，大家可以先去回顾一下。然后我们可以看一下前辈的对生成器介绍的文章： PHP性能优化利器：生成器 yield理解，来理解一下生成器防止内存溢出的原理。
2、解决数据查询内存溢出

了解完生成器yield原理之后，我们还需要解决一个问题，我们常用的mysql查询函数是mysqli_query(connection,query,resultmode);，通常都是直接填写第一第二个参数就直接查询，但该函数默认的是对全部结果集进行缓存，这会导致数据过多的时候，内存也会溢出。因此，我们需要设置第三个参数为MYSQLI_USE_RESULT来逐行读取结果集。那或许您有疑问为什么不直接遍历该mysqli_query()方法返回的结果来当每一行数据写到CSV中，而还要用yield来存储一次每行数据再写到CSV中呢？其实这是因为mysqli_query()返回的结果是mysqli_result Object形式，而fputcsv()这个方法要求第二个参数为数组。所以yield的作用就是中转站，但是他是一行行运输数据，而不是读多行来运输数据。
代码：

<?php


/*

 * 该方法是把数据库读出的数据进行CSV文件输出，能接受百万级别的数据输出，因为用生成器，不用担心内存溢出。

 * @param string $sql 需要导出的数据SQL

 * @param string $mark 生成文件的名字前缀

 *

 */

function putCsv($sql, $mark)

{

    set_time_limit(0