php导出大数据保存到csv文件

本文介绍了一种从数据库导出大量数据至CSV文件的方法,包括设置PHP的时间限制和内存限制,逐步读取数据库记录并将其写入CSV文件,同时确保了在大数据量下输出缓冲区的适时刷新。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

       set_time_limit(0);
       ini_set ('memory_limit', '256M');

       $db = $this->load->database('default',true);


       $sql = "SELECT * FROM `t_mobile_number_section` $condition";

       $query = $db->query($sql);

       $result = $query->result_array();

       $filename = 'number'.time().'.csv';

       header('Content-Type: application/vnd.ms-excel');
       header('Content-Disposition: attachment;filename="'.$filename.'"');
       header('Cache-Control: max-age=0');

       // 打开PHP文件句柄,php://output 表示直接输出到浏览器
       $fp = fopen('php://output', 'a');

       // 输出Excel列名信息
       $head = array($title['number_section'],$title['area_code'],$title['province'],$title['city']);
       foreach ($head as $i => $v) {
           // CSV的Excel支持GBK编码,一定要转换,否则乱码
           $head[$i] = iconv('utf-8', 'gbk', $v);
       }

       // 将数据通过fputcsv写到文件句柄
       fputcsv($fp, $head);

       // 计数器
       $cnt = 0;
       $limit = 100000;

       // 从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,从句柄中一行一行读即可

       $i = 2;

       $count = 0;
       foreach ($result as $key => $val) {
           $count ++;
           $cnt ++;

           //每隔$limit行,刷新一下输出buffer,不要太大,也不要太小 ,大数据量时处理
           if ($limit == $cnt) { //刷新一下输出buffer,防止由于数据过多造成问题
               ob_flush();
               flush();  //刷新buffer
               $cnt = 0;
           }


           $rows[$i] = $val['number_section'];
           $rows[$i+1] = $val['area_code'];
           $rows[$i+2] = $val['province'];
           $rows[$i+3] = $val['city'];
           fputcsv($fp, $rows);

       }
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值