MyBatis批量插入几千条数据，请慎用foreach

最新推荐文章于 2024-04-11 15:00:53 发布

原创

最新推荐文章于 2024-04-11 15:00:53 发布 · 235 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#程序人生 #后端 #mybatis

本文探讨了在MyBatis中使用foreach批量插入数据导致的性能问题，解释了由于 PreparedStatement 长度过大和参数映射导致的解析耗时。建议在插入大量数据时，改为使用 ExecutorType.BATCH，以显著提高性能。通过实验，使用 BATCH 执行器，插入5000+条记录只需不到2秒。同时指出，若坚持使用foreach，插入记录数应控制在20~50之间。

近日，项目中有一个耗时较长的Job存在CPU占用过高的问题，经排查发现，主要时间消耗在往MyBatis中批量插入数据。mapper configuration是用foreach循环做的，差不多是这样。（由于项目保密，以下代码均为自己手写的demo代码）

<insert id="batchInsert" parameterType="java.util.List">
    insert into USER (id, name) values
    <foreach collection="list" item="model" index="index" separator=","> 
        (#{model.id}, #{model.name})
    </foreach>
</insert>

这个方法提升批量插入速度的原理是，将传统的：

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

转化为：

INSERT INTO `table1` (`field1`, `field2`) 
VALUES ("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2");

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

司腾

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

MySQL高效插入数据的最佳实践

禅与计算机程序设计的艺术

01-03

2236

无论是新手开发者还是经验丰富的技术人员，都能从这里获得对 MyBatis 高效插入数据更深入的理解和实用的指引，从而为构建更高效、更稳定的系统奠定坚实的基础。在当今数据驱动的时代，高效的数据处理尤其是数据插入操作对于各类应用系统的性能表现至关重要。因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。则还要加上预编译的网络往返)，在大量的插入情况下，所有的语句都需要经历一次最耗时的链接操作，性能自然是下降了不少。

功能篇：mybatis中批量插入

最新发布

qq_34207898的博客

01-09

1230

在这个例子中，`collection` 属性指定了要遍历的集合名称（这里为 `list`，它是在 Java 方法参数或传入的 Map 中定义的键名），`item` 属性指定了每次迭代时当前元素的别名，`separator` 定义了每一对值之间的分隔符，在这里是逗号。- **错误处理**：如果使用 JDBC 批处理，要注意捕获并处理可能出现的异常，因为一旦发生错误，默认情况下整个批处理都会回滚。- **事务管理**：确保你的批量插入操作在一个事务中完成，以保证数据的一致性。

参与评论您还未登录，请先登录后发表或查看评论

MyBatis批处理，使用foreach

nefss_的博客

09-17

511

批量生成的SQL太长，可能会被服务器拒绝。无法获取插入数据的id。

四、Mybatis动态插入之foreach插入、实现in集合、优化等

weixin_35798336的博客

12-14

2135

1、使用场景在实际开发过程中，我们经常需要批量更新或者是批量查询，此时如果逐条插入，将影响效率。所以通常我们都是将其封装为一个集合，再进行插入。主要以下三种方式： foreach 实现批量插入 foreach 实现in集合 foreach 实现动态update，与插入类似。 foreach优化 2、foreach属性介绍 collection：指定要遍历的集合。入参为list，collection为list；入参为数组,collection为array；入参为map，collection为集合

MyBatis批量插入几千条数据慎用foreach

lisheng19870305的专栏

04-08

2051

近日，项目中有一个耗时较长的Job存在CPU占用过高的问题，经排查发现，主要时间消耗在往MyBatis中批量插入数据。mapper configuration是用foreach循环做的，差不多是这样。（由于项目保密，以下代码均为自己手写的demo代码） <insert id="batchInsert" parameterType="java.util.List"> insert into USER (id, name) values <foreach collect...

MyBatis foreach语句批量插入数据

语文课

09-06

1万+

项目框架：Spring+SpringMVC+MyBatis+Oracle 问题描述：需要将程序里的一个集合保存到数据库里，集合的类型对应数据库的一个实体，若在程序里遍历集合再一条条保存到数据库表中有点麻烦，这里可以利用MyBatis 的 foreach标签实现批量插入数据。实例：要新增的实体为Item（项目实体）：

MybatisPlus批量插入数据 (job 刷数据同步)

global_coding的博客

03-14

763

MybatisPlus批量插入数据 job 刷数据同步

Mybatis使用foreach标签实现批量插入

rushbubu的博客

05-29

4028

需要注意的是，为了避免 SQL 注入攻击，在将 List 集合作为参数传入 Mapper 方法时，建议使用 Java 的 Collection 接口或者数组类型，而不是采用字符串拼接的方式动态生成 SQL 语句。方法可以直接将 List 集合作为参数传入到 Mapper 中，然后在 Mapper 的 XML 中使用。标签实现单条数据的插入，但如果需要插入多条数据，则可以使用 Mybatis 提供的。标签遍历了 List 中的每一个 User 对象，并将其属性插入到表中。在 Mybatis 中，可以使用。

Mybatis动态SQL之foreach标签批量插入数据(MySQL版)

热门推荐

u014268482的博客

06-08

1万+

我们在MySQL中可以使用foreach标签进行批量插入数据。 foreach中可以有两种方式批量插入数据: 方式1: INTERT INTO TableName Values(值1，值2，值3….),(值1，值2，值3….)…. 方式2: INTERT INTO TableName Values(值1，值2，值3….);INTERT INTO TableName Values...

Mybatis 使用Foreach 执行批量插入

weixin_44726787的博客

05-12

469

要注意添加open 和 close; 分隔符号用分号（Oracle数据库批量插入）  <insert id="saveBatchCase" parameterType="java.util.List"> <foreach open="begin" close=";end;" collection="list" separator=";" index="index" item="item"> insert int

Mybatis批量添加（foreach标签）

m0_51212267的博客

11-30

4439

delete from xxx_table where id in <foreach collection="list" item="item" index="index" open="(" separator="," close=")"> #{item} </foreach> => (1,2,3,4) foreach标签：主要应用于批量删除与批量插入操作。 foreach标签包含的的常用属性有collection，item，index，open，separ.

Mybatis-foreach 标签使用进行批量操作

m0_58680865的博客

04-03

640

【代码】Mybatis-foreach 标签使用进行批量操作。

Mybatis foreach批量插入

csdn_tingou的博客

09-30

3900

在需要大量插入数据是，循环插入一条的数据很慢，使用批量插入会节省大量的时间，在近3000条数据下循环插入单条数据花费的时间为2分钟以上，在批量插入下的时仅10秒左右（根据个人的运行环境不同，时间也会有差距）。下面为实例代码 <insert id="insertAll"> INSERT INTO user( id, username...

MyBatis 使用 foreach 批量插入

lizhengyu891231的博客

06-30

5276

MyBatis 使用 foreach 批量插入

mybatis用 foreach 分批量插入 insert

weixin_60301909的博客

04-11

1311

nested exception is org.apache.ibatis.binding.BindingException: Parameter'name' not found.Available parameters are [list,param1]

MyBatis使用Foreach批量插入数据

weixin_40460171的博客

01-08

2523

## MySQL批量插入(效率较低) <insert id="saveBatch"> <foreach collection="list" item="item" separator=";"> INSERT INTO student (name, age, id) VALUES (#{item.name},#{item.age},#{item.id}) </foreach> </insert> ## MySQL批量插入(效率较高) <

数据库------MyBatis 使用 foreach 批量插入

fly__ing的博客

06-03

1063

MyBatis 使用 foreach 批量插入第1种方式单条语句插入多个值修改 Mapper 添加批量插入方法 @Mapper public interface UserMapper { void batchSave(List<User> userList); } 修改映射文件添加批量插入映射语句 <insert id="batchSave"> insert into user(name, password) values <foreach

myBatis使用foreach批量插入数据

u010227042的博客

02-22

3005

官方文档中为foreach提供的示例是select的时候循环拼接IN语句，并没有对foreach中的每个属性进行解释，通过其他文章（http://my.oschina.net/linuxred/blog/38802）对各个属性有了部分了解，但是里面没有提到如果传入的参数不只是提供给foreach的时候该怎么做，我正好遇到这个需求，需要批量插入数据，其中product_id是每次都一样的，每次不同的数据为bookCity，通过测试后通过将数据封装成Map解决了问题： Map<String, Object

MyBatis批量插入数据并获取主键示例

本文主要介绍了如何在MyBatis框架中实现批量插入数据并返回主键。关键在于更新MyBatis版本、避免使用@param注解以及正确配置Mapper XML文件。在进行MyBatis批量插入操作时，我们需要确保MyBatis的版本至少是3.3.1...