php向mysql数据库查询、插入、删除较多条数据

最新推荐文章于 2022-08-27 09:08:53 发布

原创最新推荐文章于 2022-08-27 09:08:53 发布 · 1.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#数据库备份海量数据插入删除查询

PHP 同时被 3 个专栏收录

31 篇文章

订阅专栏

数据库

8 篇文章

订阅专栏

Lavarel

4 篇文章

订阅专栏

本文介绍了一种针对大量数据的数据库备份方案，通过分页查询、批量插入及高效删除操作实现增量备份，有效避免内存溢出等问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近项目做了个数据库备份。需要用php对项目30天前数据做增量备份。记录一下其中处理较多数据查询、插入、删除的解决办法。

一、查询

由于项目三十天之前的数据实在是太多。查询时甚至出现了，内存不足的报错。。

解决方法：

利用分页原理。动态传入page参数。

class DatabaseBak extends Command
{
    protected $page_size;

    function handle(){
        $this->page_size = 1000000;
        //开始备份
        $this->lucky_code();
    }

    //lucky_code表
    protected function lucky_code(){
            $this->comment('开始查询更新数量...');
            $page = 1;
            do {
                $lucky_code = DB::table('lucky_code')->where('create_at', '<', $this->time)->forPage($page, $this->page_size)->get();
                $this->comment('开始备份数据，共计' . $lucky_code->count() . '条记录。');
                
                $page++;
            } while ($lucky_code->count() && $lucky_code->count() <= $this->page_size);
    }
}

二、插入

解决方法：主要是利用mysql语句insert插入时 value可以传多个。array_chunk()函数将一个数组分割成多个数组。（注意array_chunk最多只能每个子数组给5000个元素）

$arr = array_chunk(json_decode(json_encode($lucky_code), true), 5000);
foreach ($arr as $l) {
    //备份数据
    DB::connection('pgyg_bak')->table('lucky_code')->insert($l);
}

三、删除

解决方法：主要是利用mysql语句中where id in (1, 2, 3, .., n) 条件查询。

DB::table('lucky_code')->whereIn('id', $id_list)->delete();

四、总结

这次做数据库备份时，发现有几点要注意的是：

1、当用分页查询的时候，插入和删除是和查询同步的。即：查出一页，备份一页然后主表删除一页。然后再下一页。。

2、为了确保数据不丢失，除了使用事务之外。查询、插入、删除的依据应该都是每条记录的id。