mysql5中大数据错误：Packet for query is too large

最新推荐文章于 2023-11-02 16:05:03 发布

原创最新推荐文章于 2023-11-02 16:05:03 发布 · 460 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mysql

数据库专栏收录该内容

8 篇文章

订阅专栏

本文介绍了解决MySQL在批量插入大数据时遇到的PacketTooBigException错误的方法。通过调整max_allowed_packet参数或采用分批插入策略，有效避免了因数据包过大导致的系统错误。

mysql5中大数据错误：Packet for query is too large (***>***). You can change this value on the ser
今天做程序,批量插入10000 条数据报错.
解决方案1：
MySQL的一个系统参数：max_allowed_packet，其默认值为1048576(1M)，
可以先查询一下：show VARIABLES like ‘%max_allowed_packet%’;
修改此变量的值：MySQL安装目录下的my.ini文件中的[mysqld]段中的＂max_allowed_packet = 1M＂，如更改为4M(如果没有这行内容，增加一行)，保存，重新启动MySQL服务。现在可以load大于1M的文件了。

因为我的已经是4m了,我也不知道太大了会有什么不好的影响.
我的方法:
批量,分批次,一次插入1000条
List abnormalList = nbMouldinfoService.getFromNbInfoWhereOperateIs(0);

        List<NbMouldinfo> listToInsert = new ArrayList<>();

/**
* //批量插入,做了唯一校验,insert ignore into,避免重复插入,
* 如果插入的数据会导致UNIQUE索引或PRIMARY KEY发生冲突/重复，则忽略此次操作/不插入数据
/
if(!abnormalList.isEmpty()){
StringBuilder bd = new StringBuilder();
for (int i = 0; i < abnormalList.size(); i++) {
NbMouldinfo nbMouldinfo = abnormalList.get(i);
nbMouldinfo.setNewDate(new Date());
listToInsert.add(nbMouldinfo);
/*
* 每1000条插入一次,
* 避免数据包太大超出 mysql 中max_allowed_packet值,
* 而报错Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large
*/
if(i % 1000 == 0 && i>0){
//批量插入
nbMouldinfoAbnormalService.addBatch(listToInsert);
//重置listToInsert
listToInsert = new ArrayList<>();
}
}
//循环结束后将剩下的不满1000条的数据插入
nbMouldinfoAbnormalService.addBatch(listToInsert);
logger.info(“插入信号异常,模具号有:”+ bd);
}
}