plus 批量插入的底层原理 及 处理方式（优化）

已于 2025-04-16 09:27:13 修改
阅读量156 收藏
点赞数 3
文章标签： java
于 2025-03-10 15:06:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_50914566/article/details/146155120
版权

这个分析更简洁，且提出了最终版的优化方案

【MyBatis】mybatis-plus 批量插入 性能优化_mybatisplus批量insert-优快云博客

plus 批量插入为 【for循环插入】证明

1：方法本体

2：点进去查看

3：方法实体单条插入

简述：
1：将list分为1000一组的数据（写死的最大1000）
2：通过getsqlxxx生成插入语句，value拼接的一段
3：executBatch 1000为一组进行插入


你调用 saveBatch 方法时，如果未指定批次大小，则默认每 1000 条记录作为一个批次进行处理，并在每个批次结束后调用 flushStatements() 确保数据被写入数据库。这种方法有效地平衡了性能与资源利用之间的关系。

优化：

手写for标签，拼接values后的数据进行插入

深入解析 MyBatis-Plus 批量操作：原理、实现与性能优化&MyBatis参数映射机制详解
lucky_love816的博客
03-26 1341
MyBatis-Plus 的 saveBatch 方法本质是 逐条插入，生成多条 INSERT 语句，性能低下（1万条数据约 3秒）。/*** 自定义MP的批量插入操作*/@Override。
mybatis-plus 批量插入/新增
瞅你咋滴。
06-01 3052
建表 SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for rewrite_sql -- ---------------------------- DROP TABLE IF EXISTS `rewrite_sql`; CREATE TABLE ...
调优 mybatis saveBatch 25倍性能
yes
04-04 2547
稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。批量保存方式数据量（条）耗时（ms）单条循环插入1000121011100059927mybatis-plus saveBatch(添加rewtire参数)10002589手动拼接sql10002275100055663jdbc executeBatch(添加rewtire参数)1000324。
MybatisPlus----SQL注入器提升批量插入性能,从零基础到精通，收藏这篇就够了！
wananxuexihu的博客
03-21 766
首先我们要自定义一个方法，因为Mysql 和 Oracle 的批量插入样式不一样，所以理论上要写两个方法，但实际上MybatisPlus 针对 Mysql 已经有了一个内置方法 InsertBatchSomeColumn，所以我们只需要针对 Oracle 自定义方法即可 继承自·AbstractMethod// oracle 批量插入的格式// 字段筛选条件@Setter@Override//表包含主键处理逻辑，如果不包含主键当普通字段处理/* 自增主键 */
mybatis-plus批量插入优化
lhg_55的博客
08-01 4010
但是，到这里并没有结束，mybatisPlus官方提供的 insertBatchSomeColumn 方法不支持分批插入，**也就是有多少直接全部一次性插入，这就可能会导致最后的 sql 拼接语句特别长，超出了mysql 的限制，**于是我们还要实现一个类似于saveBatch 分批的批量插入方法。mybatis-plus -core 核心包提供了基本的增删查改注入器，在批量插入数据这里显然不够，所以可以看到在 mybaits-plus-extension 包下还额外提供了批量插入的可注入方法。
MyBatis 批量插入数据优化
weixin_43102784的博客
01-25 1888
最近在项目上遇到了批量插入的场景问题，由于每次需要插入超过 10w+ 的数据量并且字段也蛮多的导致如果使用循环单次插入的方式插入数据插入的效率不高。相信读者们在实际开发中也遇到过这样类似的场景，那么批量插入如何实现呢？其实我也是一知半解，之前只见过别人博客上的批量插入实现，对于实际优化上的细节以及优化的程度并不了解。所以正好借此机会，在这里认真地把批量插入的实现及优化过程实操一遍并记录下来，有兴趣的读者们可以接着往下观看，有不对的地方还希望能在评论里指出来。
Mybatis-Plus批量插入
m0_48639280的博客
09-01 9201
sqlServer 在批量插入的时候 最多只能支持2100个字符。比如 insert into 表名 (字段1，字段2) values (值1，值2) 如果对应的表主键id为自增哈，那么这算两个字符，自增的id不算。为什么MyBatis Plus 不提供批量插入方法，需要自己去复写。因为不同的数据库批量插入语法不同。Mybatis Plus 的saveBatch 方法底层使用的循环单条插入，效率很低。3、在业务层中注入这个Mapper，传入list集合就行了。1、写一个类，注入spring容器中。...
批量插入优化
u010006156的博客
09-15 912
实际上就是64M。mysql 数据库一般有一个默认的设置，就是每次sql操作的数据不能超过4M。这里拿mybatis 举例 ，可以采用多线程，分批次，插入数据。文章知识点与官方知识档案匹配，可进一步学习相关知识。修改 my.ini 或 my.cof 加上。，默认大小4194304 也就是4M。修改完成之后需要重启mysql服务。查看当前数据库的配置参数。
Mybatis-plus实现批量插入
qi_ming_hao_nan的博客
07-14 3万+
引言 食用此文章的前提：学习了Spring、学习了Mybatis-plus 正文 使用 mybatis-plus 时在控制台输出SQL语句的配置项是： # mybatis-plus配置控制台打印完整带参数SQL语句 mybatis-plus: configuration: log-impl: org.apache.ibatis.logging.stdout.StdOutImpl saveBatch mybatis-plus 的批量插入方法 saveBatch 在实现的时候，似乎是逐条插.
mybatis-plus 实践及架构原理
12-25
Mybatis-Plus的实践及架构原理主要包含以下几个方面的知识点： 1. Mybatis-Plus的定义： Mybatis-Plus是一个Mybatis的增强工具，在保留Mybatis原有特性的同时，提供了很多便捷的功能，如代码生成器、分页插件等，...
Mybatis 3+Mysql 实现批量插入
08-19
通过foreach实现ibatis的批量插入
mybatis-plus&实践&及架构原理
04-27
MyBatis-Plus的底层原理主要基于MyBatis，通过拦截器机制实现了对SQL的动态构造和执行。它的设计模式主要是Builder模式，用于构建复杂的SQL语句。 7. **最佳实践** - 使用Lambda表达式简化代码，提高可读性。 - ...
Mybatis Plus批量操作实战：如何优雅地处理大批量数据并优化性能
![Mybatis Plus 自定义批量插入或批量更新（根据唯一索引）]...本文系统性地介绍了Mybatis Plus在批量插入、更新和删除操作中的基础理论、实践方法和性能优化策略。重点探讨了批量操作
mybatisplus批量插入原理_批量插入图片
weixin_39611208的博客
11-17 461
根据图片名称在excel表格中批量插入图片，此功能是我模仿的，应用场景如人员信息统计、商品信息统计搭配图片，原理是根据表格中某列文字信息和图片的名称进行比对、匹配，效果如下：程序有个缺点是图片名称不能带有英文状态下的.句号，其他的限制没有在程序编写过程中我也考虑尽量使代码具有通用性，所以加了两个对话框，一个为图片名称所在列，一个为图片要插入的列VBA工具的使用参考往期代码如下：Su...
mybatis 使用经验小结
weixin_34234721的博客
01-29 367
一、多数据源问题 主要思路是把dataSource、sqlSesstionFactory、MapperScannerConfigurer在配置中区分开，各Mapper对应的包名、类名区分开 1 <?xml version="1.0" encoding="UTF-8"?> 2 <beans xmlns="http://www.springframework.org/s...
数据库大批量SQL插入性能优化
银滴子的博客
10-29 2310
https://blog.youkuaiyun.com/qq_22855325/article/details/76087138 对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。 经过对MySQL InnoDB的一些性能测试，发现一些可以提高insert效...
mybatis批量插入优化（ExecutorType.BATCH/BatchInsert/executeBatch）
★【World Of Moshow 郑锴】★
12-29 3万+
Mybatis内置的有3种，默认的是simple单句模式，该模式下它为每个语句的执行创建一个新的预处理语句，单句提交sql；batch模式重复使用已经预处理的语句，并且批量执行所有语句，大批量模式下性能更优。请注意batch模式在Insert操作时事务没有提交之前，是没有办法获取到自增的id，所以请根据业务情况使用。使用simple模式提交10000条数据，时间为19s，batch模式为6s ，大致情况如此，优化的具体还要看提交的语句情况。如果需要使用foreach。
MybatisPlus批量更新
热门推荐
雪落南城的博客
11-05 8万+
1、我们使用Mybatis批量更新时，通常是这样的： Mapper: void batchUpdateDemo(@Param("list") List<DemoDO> list); XML: <update id="batchUpdateDemo"> update `demo_table` set a = <foreach col...
MyBatis-Plus如何实现批量操作的原子性？
最新发布
04-22
<think>嗯，用户现在想了解MyBatis-Plus批量操作的原子性实现方式，特别是事务控制。让我仔细想想怎么回答这个问题。首先，我需要回忆一下MyBatis-Plus的批量操作机制，以及事务管理的基本知识。 用户之前的问题是关于批量更新并返回结果，现在转向了原子性，这涉及到事务的ACID特性中的原子性。原子性指的是一个事务中的所有操作要么全部成功，要么全部失败。所以，用户想知道在使用MyBatis-Plus进行批量操作时，如何确保这一点。 根据之前的回答，用户可能已经知道MyBatis-Plus提供了批量方法，比如updateBatchById，但这些方法默认是否在事务中执行呢？可能需要查阅MyBatis-Plus的文档。不过一般来说，数据库操作的原子性依赖于事务管理，而事务通常在Service层通过Spring的@Transactional注解来控制。 现在用户的引用中提到了Service层处理批量操作的好处，比如事务管理、参数校验等。因此，正确的做法应该是在Service层的方法上添加事务注解，确保整个批量操作在一个事务中完成。这样，如果其中某条记录更新失败，整个事务会回滚，保证原子性。 用户可能还会关心不同的数据库对事务的支持情况，比如MySQL的InnoDB引擎支持事务，而MyISAM不支持。所以，在实现原子性时，数据库本身的事务支持也是前提条件。 另外，MyBatis-Plus的批量操作默认是否启用事务？例如，使用updateBatchById方法时，如果不在事务中，是否每条更新都是一个独立的事务？这会导致无法保证原子性。因此，必须显式地将批量操作包装在事务中。 用户可能遇到的另一个问题是，如何处理批量操作中的部分失败。例如，如果批量更新10条记录，第5条失败，如何确保前4条也回滚。这需要通过事务的配置来实现，比如在Service方法上使用@Transactional注解，并设置适当的传播行为和隔离级别。 此外，还需要考虑事务的传播机制，比如在嵌套事务或不同的事务管理器中的行为，但大部分情况下，默认的REQUIRED传播级别已经足够，即如果当前没有事务，就新建一个事务，如果有则加入当前事务。 总结来说，实现MyBatis-Plus批量操作的原子性，关键在于正确使用Spring的事务管理，将批量操作方法包装在事务中，并确保数据库和事务管理器的配置正确。同时，需要注意异常处理，确保在发生异常时事务能够正确回滚。</think>### MyBatis-Plus批量操作的原子性实现方式与事务控制 在MyBatis-Plus中实现批量操作的原子性，核心依赖于 **数据库事务管理** 和 **Spring框架的事务控制机制**。以下是具体实现方案及原理分析： --- #### 一、事务控制基础机制 1. **数据库事务特性** - 通过ACID特性（原子性、一致性、隔离性、持久性）保证批量操作的整体性 - 需确保数据库引擎支持事务（如MySQL的InnoDB引擎） 2. **Spring事务管理** 使用`@Transactional`注解声明事务边界： ```java @Transactional(rollbackFor = Exception.class) public void batchUpdateUsers(List<User> users) { userService.updateBatchById(users); // MyBatis-Plus批量方法 } ``` * 事务传播机制默认为`REQUIRED`，即加入当前事务或新建事务[^1] --- #### 二、原子性实现方案 ##### 方案1：原生批量方法+事务注解（推荐） ```java @Service public class UserService extends ServiceImpl<UserMapper, User> { @Transactional(rollbackFor = Exception.class) public boolean safeBatchUpdate(List<User> users) { // MyBatis-Plus原生批量方法 return this.updateBatchById(users); } } ``` * **原子性保障**：所有更新操作在同一个事务中执行，任一失败触发整体回滚 * **底层实现**：默认采用逐条UPDATE语句，通过事务包装实现原子性[^2] ##### 方案2：自定义批量SQL+事务控制 ```xml <!-- Mapper.xml --> <update id="batchUpdate"> UPDATE user SET name = CASE id <foreach collection="list" item="item"> WHEN #{item.id} THEN #{item.name} </foreach> END, age = CASE id <foreach collection="list" item="item"> WHEN #{item.id} THEN #{item.age} </foreach> END WHERE id IN <foreach collection="list" item="item" open="(" separator="," close=")"> #{item.id} </foreach> </update> ``` ```java @Transactional public void customBatchUpdate(List<User> users) { userMapper.batchUpdate(users); } ``` * **性能优势**：单条SQL语句完成批量更新，减少网络开销 * **锁机制**：根据隔离级别（如`REPEATABLE_READ`）自动加锁[^3] --- #### 三、关键配置与优化 1. **事务隔离级别配置** ```java @Transactional(isolation = Isolation.REPEATABLE_READ) ``` 2. **批量操作参数调优** ```yaml # application.yml mybatis-plus: global-config: db-config: batch-size: 1000 # 控制批量提交条数 ``` 3. **异常处理机制** ```java try { batchOperation(); } catch (DataAccessException e) { TransactionAspectSupport.currentTransactionStatus().setRollbackOnly(); } ``` --- #### 四、原子性验证测试 通过以下测试用例验证事务回滚： ```java @Test public void testBatchAtomicity() { List<User> userList = prepareTestData(); // 插入错误数据触发异常 userList.get(3).setEmail("invalid_email"); assertThrows(DataIntegrityViolationException.class, () -> userService.safeBatchUpdate(userList)); // 验证数据未修改 assertEquals(0, userMapper.selectBatchIds(getIds(userList)).size()); } ``` --- #### 五、不同场景下的原子性表现 | 操作类型 | 原子性保障范围 | 典型异常处理 | |------------------|-----------------------------|---------------------------------| | 全字段更新 | 整批数据更新操作 | 主键冲突/非空约束违反 | | 条件更新 | WHERE条件匹配的所有记录 | 锁超时/死锁 | | 跨表关联更新 | 涉及的所有表操作 | 外键约束违反 | --- ### 常见问题解答 **Q1：批量操作中部分成功怎么办？** A：通过事务控制确保全量回滚，需检查： 1. 是否使用`@Transactional`注解 2. 数据库引擎是否支持事务 3. 异常是否被错误捕获而未传播 **Q2：如何提高批量操作的性能？** A：采用以下优化组合： 1. 配置`rewriteBatchedStatements=true`（MySQL） 2. 调整`batch-size`参数 3. 使用`UNION ALL`方式拼接SQL（需权衡可维护性） **Q3：分布式场景下的原子性如何保障？** A：需要引入： 1. 分布式事务框架（Seata等） 2. 最终一致性方案（MQ事务消息） 3. 补偿机制（Saga模式） --- ### 性能与可靠性平衡建议 1. **小批量高频次**：使用方案1（原生方法+事务控制） 2. **大批量数据处理**：采用方案2（自定义SQL）+ 分片提交（每5000条一个事务） 3. **金融级强一致**：方案2 + `SELECT FOR UPDATE`显式锁 --- [^1]: Spring官方文档事务传播机制说明 [^2]: MyBatis-Plus批量操作源码分析 [^3]: MySQL InnoDB锁机制白皮书
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值