MySQL-max_allowed_packet

最新推荐文章于 2023-06-25 10:39:24 发布

混进IT圈

最新推荐文章于 2023-06-25 10:39:24 发布

阅读量182

点赞数

CC 4.0 BY-SA版权

分类专栏： Exception DataBase 文章标签： PacketTooBigException max_allowed_packet mysql

本文链接：https://blog.youkuaiyun.com/lihaiming_2008/article/details/84748304

DataBase 同时被 2 个专栏收录

23 篇文章

订阅专栏

Exception

8 篇文章

订阅专栏

本文介绍了一次性向MySQL数据库批量插入50000条数据遇到的问题及解决方法。通过调整max_allowed_packet参数解决了PacketTooBigException异常，并对比了不同批量插入方式的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MySQL--max_allowed_packet

项目框架：springmvc+spring3+mybatis

数据库：mysql5.5

服务器是阿里云的，但实际上阿里云的机器是万网的，配置为

MySQL-max_allowed_packet ，

有这么一个需求，就是需要批处理向数据库一次性插入50000条数据，当时对表做了分区，开始是只用一次插入操作插入50000条数据，debug时到执行插入的时候就突然卡住了，卡到我的耐心资源超时，所以就把它咔嚓了。然后改了代码，换成一个java For 循环，一次只插1000条数据循环50次插入，大约7.3秒插入完成。接着又换成每次插10000条，分循环5次插入，时间为6.4秒。没道理一次50000需要这么久的时间，于是昨天临走前机器没关，让它跑一次50000条的插入，看看究竟会怎样。第二天早上发现插入失败，日志打了异常：

org.springframework.dao.TransientDataAccessResourceException:

### Error updating database. Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (3500111 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

### The error may involve com.yiliwu.ecouponcard.core.dao.EcKeyMapper.insertBatch-Inline

### The error occurred while setting parameters

### Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (3500111 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

; SQL []; Packet for query is too large (3500111 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.; nested exception is com.mysql.jdbc.PacketTooBigException: Packet for query is too large (3500111 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

可见mysql服务器端的参数max_allowed_packet设置过小了，它默认是1M，而我们提交的Packet有3M。登录服务器，找到mysql的配置文件my.cnf，在[mysqld]下加上max_allowed_packet=16M，保存重启mysql后，一次插入50000条成功，耗时7.2秒。

对于在for循环中插入数据库操作会造成多次IO性能损耗，必然会在一定程度上减慢插入速度，所以循环50次与循环5次的差异还是可以看到的，7.3>6.4，但是一次50000条的耗时为7.2还是耐人琢磨，我将它暂时归为不完全归纳造成的误差，毕竟不同时段主机的忙闲还是会有些差异的，理论上应该会更快。

本文来源于：http://www.07net01.com/zhishi/478221.html