Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢

最新推荐文章于 2025-04-12 18:28:37 发布
转载 最新推荐文章于 2025-04-12 18:28:37 发布 · 4.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/arebirth/p/mybatissavebatchslow.html
文章标签：

#mybatis-plus

[转]Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢

Arebirth博客园: 原文链接

背景

使用mysqlPlus. 不管是updateBatch, 还是saveBatch, 800条左右的数据,
耗时都超过1s以上

尝试更改每次批量处理的数量, 比如:

super.updateBatchById(list,1000);
  • 1

如果不传第二个参数, mysqlPlus默认是1000. 这个根据调整, 发现低于1000, 耗时增加,1500到2500ms左右, 因为sql分多次执行, 中间IO请求的耗时比较大.
设置为1000(因为总共测试数据都没有1000, 所以没有尝试更大的值), 为900ms到1200ms左右.

这时间太久了,在网上找办法.

处理

最后发现在sql链接后追加: rewriteBatchedStatements=true. 再次尝试, 已经缩减到100ms!

 url: jdbc:mysql://localhost:3306/zgd?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=true
  • 1
  • 2

在这里插入图片描述

 

精选资源
MyBatis-Plus入门+MyBatis-Plus文档手册 中文pdf高清版.rar
11-09
mybatis在持久层框架中还是比较火的，一般项目都是基于ssm。虽然mybatis可以直接在xml中...《MyBatis-Plus入门文档》主要介绍了MyBatis-Plus入门使用，以及关于mybatis-plus的更多介绍及特性，感兴趣的可以下载学习一下
MyBatis-Plus批量插入，提升数据插入效率的利器！
理论都是虚的，代码才是王道。
01-02 1149
本文详细介绍了使用MyBatis-Plus进行批量插入的步骤和相关代码。通过MyBatis-Plus的便捷操作，我们可以轻松地实现数据的批量插入，提高插入效率。希望本文对您理解和使用MyBatis-Plus的批量插入有所帮助。
使用mybatis plus updateBatchById接口超级慢 解决方案
m0_67391120的博客
03-24 6378
调用mybatisplus 批量更新接口，超级慢，主要是数据量大，就是updateBatchById这个接口，一个接口用时8s ,基本用时都在这个方法上面了，于是自己写了sql，问题解决！ 第二种方法：在mysql配置面加上rewriteBatchedStatements=true url: jdbc:mysql://localhost:3306/xxxx?useUnicode=true&characterEncoding=UTF-8&serverTimezone=GMT%2B8&
Mybatis-plus批量插入和批量修改数据速度缓慢
李长渊的博客
06-23 3126
Mybatis-plus批量插入和批量修改数据速度缓慢
Mybatis-Plus批量插入数据太慢，使用rewriteBatchedStatements属性优化，堪称速度与激情！
日常分享工作中的一些技术干货。
06-14 9313
rewriteBatchedStatements神秘属性前言一、rewriteBatchedStatements参数二、批量添加员工信息1.普通saveBatch批量插入2.设置rewriteBatchedStatements=true批量插入总结 前言 最近小编手上一堆项目，实在特别忙，每天一堆批量操作，更新、导入、新增、删除，公司使用的Mybatis-Plus操作SQL，用过Mybatis-Plus的小伙伴一定知道他有很多API提供给我们使用，真爽，再不用写那么多繁琐的SQL语句，saveBatch是
MyBatis与MyBatis-Plus批量插入实战指南
m0_37643701的博客
01-10 928
在实际项目中，批量插入数据是一个常见且重要的需求。本文将详细总结MyBatis和MyBatis-Plus常用的几种批量插入方式，并通过实际代码示例和运行结果，帮助大家更好地理解和应用。
Mybatis-plus---的批量插入
热门推荐
second_place_zyj的博客
04-20 1万+
丝滑的批量操作，我选它insertBatchSomeColumn
SpringBoot + MyBatis-Plus 批量插入失败问题详解
小张学AI的博客
04-12 1287
编写自定义批量插入逻辑：如果项目要求较高，可以通过继承 MyBatis-Plus 的方法，覆写saveBatch的逻辑，避免使用默认的反射获取泛型过程。在 ServiceImpl 中指定实体对应的 Mapper：通过手动传递实体与 Mapper 之间的映射关系，保证批量插入时使用正确的数据库表。在采用多层抽象设计的同时，一定要留意框架内部依赖反射实现的机制，合理安排泛型的传递，确保最终业务逻辑能够获取准确的类型信息。适当减少不必要的抽象层次，能有效避免因反射机制局限性而引发的各种问题。
MyBatis-Plus saveBatch保存太慢解决办法
暮雪寒寒的随手记
10-26 6706
mybatis-plus调用saveBatch方法保存慢的解决办法 主要有两个因素，具体可查看文章
​MyBatisPlus的批量插入方法saveBatch时速度缓慢​
qq690452074的专栏
01-15 1131
​MyBatisPlus的批量插入方法saveBatch时速度缓慢​
MyBatis-plus批量写入数据方法saveBatch速度很慢原因排查
chengpei147的博客
03-18 1万+
问题场景： 使用MyBatis-plus的saveBatch方法执行数据批量insert 问题描述： /** * 批量添加设备 * @param deviceList * @param applicationName * @return */ public boolean saveBatchDevice(List<Device> deviceList, String applicationName) { if
MyBatisPlus批量写入方法saveBatch速度很慢的解决方案
dongdong199033的博客
05-25 7459
项目组在使用MyBatisPlus的批量插入方法saveBatch时速度缓慢，插入1w条数据，需要近1分钟的时间。
MyBatis-Plus的saveBatch批量插入为何效率很低，耗时很长，怎么解决？
weixin_55181056的博客
04-14 1万+
MyBatis-Plus的saveBatch批量插入为何效率很低，耗时很长，怎么解决？
mybatis-plus saveBatch批量插入慢的解决方法
留不尽的相思泪的博客
10-21 5317
最近一个项目中修改离职同事写的发送站内信的代码时，发现 mybatis-plus的 saveBatch 批量插入方法很慢，他的做法是点击发送时往用户表插入站内信信息，我当时随便发送了1万多条消息，接口耗时23秒，我看这确实有点慢。所以我看下了他的方法。 他是用同步发送的，这种方式确实不妥，推荐使用 异步或者mq处理，此处就不做详细描述。其实造成慢的原因是因为使用 mybatis-plus的 saveBatch 方法造成的。所以我就对这个问题进行了研究。 ...
MyBatis-Plus的saveBatch批量插入为何效率很低耗时长详解及解决方案
qq_40093255的博客
07-15 1万+
Mybatis-plus的saveBatch耗时详解及解决方案
oracle MyBatis-Plus 批量插入
最新发布
08-27
<think>首先，用户的问题是：“我想使用MyBatis-Plus在Oracle数据库中执行批量插入操作 请问Oracle MyBatis-Plus 批量插入方法”。这涉及到MyBatis-Plus在Oracle数据库上的批量插入。 我需要参考系统指令： - 所有行内数学表达式必须使用$...$格式，但这里没有数学内容，所以可能不需要。 - 独立公式必须使用$$...$$格式，但问题不涉及数学公式。 - LaTeX语法正确：同样，没有数学公式。 - 使用中文回答：是的，用户的问题是用中文的，所以我用中文回复。 - 生成相关问题：在回答结束时，我需要生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识：例如[^1]。 用户可见层指令： - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 参考站内引用： - 引用[1]：提到MyBatis-Plus的批量插入优化，包括分批处理和自定义方式。 - 引用[2]：讨论了分批插入、使用insertBatch方法、调整数据库配置等。 - 引用[3]：关于自定义批量插入语句的步骤。 - 引用[4]：具体Oracle的批量插入方法，使用存储过程和foreach。 用户的问题是基于这些引用的，所以我需要整合这些信息来回答。 关键点： - MyBatis-Plus默认的insert方法只支持单条插入。 - 对于批量插入，可以使用MyBatis-Plus提供的insertBatch方法，或者自定义SQL。 - 在Oracle上，由于Oracle的特性，批量插入可能需要特殊处理，比如使用存储过程或foreach循环。 从引用[4]中，Oracle的批量插入可以通过XML配置使用foreach循环和begin-end块。 MyBatis-Plus的saveBatch方法可能不是最优的，因为它可能生成多个insert语句，而不是真正的批量插入。 步骤： 1. **使用MyBatis-Plus的saveBatch方法**：这是一个简单的方法，但可能不是最高效的。 2. **自定义批量插入**：通过自定义Mapper方法来实现高效批量插入。 在Oracle中，推荐使用foreach循环在XML中定义批量插入。 回答结构： - 介绍问题：解释MyBatis-Plus在Oracle上的批量插入需求。 - 方法1：使用MyBatis-Plus的saveBatch方法（但可能效率不高）。 - 方法2：自定义批量插入方法，参考引用[4]。 - 优化建议：如分批插入、调整配置等。 - 代码示例：提供Oracle的批量插入XML配置。 - 生成相关问题。 确保引用自然添加： - 当提到分批插入时，引用[^1]或[^2]。 - 当提到自定义SQL时，引用[^3]或[^4]。 最终回答： - 以清晰的方式呈现。 - 结束时生成相关问题。</think>### Oracle MyBatis-Plus 批量插入方法详解 在 Oracle 数据库中使用 MyBatis-Plus (MP) 执行批量插入时，需要注意 MP 默认的 `insert` 方法仅支持单条插入，而批量操作需结合自定义 SQL 或 MP 的批量方法优化性能。以下从简单到高效的方法逐步说明，确保操作高效且避免内存溢出。 #### 方法 1: 使用 MyBatis-Plus 的 `saveBatch` 方法（简单但效率较低） MP 的 `IService` 接口提供了 `saveBatch` 方法，它会自动将数据分批插入（默认每批 1000 条）。但 **在 Oracle 中效率较低**，因为它生成多条独立的 `INSERT` 语句，而非真正的批量 SQL。 ```java // Service 层代码示例 @Service public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService { public void batchInsert(List<User> userList) { saveBatch(userList); // 自动分批，但性能一般 } } ``` - **优点**：简单易用，无需额外配置。 - **缺点**：频繁的数据库交互导致性能瓶颈，不适合超大数据量[^1]。 #### 方法 2: 自定义批量插入方法（推荐，高效） 针对 Oracle 的特性，需在 Mapper 中自定义 SQL，利用 `foreach` 标签和 `BEGIN-END` 块实现真正的批量插入。参考以下步骤： ##### 步骤 1: 在 Mapper 接口中定义方法 ```java public interface UserMapper extends BaseMapper<User> { int insertBatch(@Param("list") List<User> userList); // 自定义批量插入方法 } ``` ##### 步骤 2: 在 XML 文件中编写 SQL 使用 `foreach` 循环包裹多个 `INSERT` 语句，并用 `BEGIN-END` 块确保原子性（Oracle 不支持 VALUES 多行语法）。 ```xml <!-- UserMapper.xml --> <insert id="insertBatch" parameterType="java.util.List"> INSERT ALL <foreach collection="list" item="item" index="index"> INTO tab_user (id, name, age, email) VALUES ( #{item.id,jdbcType=DECIMAL}, #{item.name,jdbcType=VARCHAR}, #{item.age,jdbcType=DECIMAL}, #{item.email,jdbcType=VARCHAR} ) </foreach> SELECT 1 FROM DUAL </insert> ``` - **关键点**： - `INSERT ALL ... SELECT FROM DUAL` 是 Oracle 批量插入的标准写法。 - `foreach` 标签将 List 拆分为多条 `INTO` 子句，合并为一个 SQL 请求。 - 参数类型 `jdbcType` 需显式声明，避免类型错误[^4]。 ##### 步骤 3: 调用自定义方法 ```java // Service 层调用 userMapper.insertBatch(userList); // 高效执行 ``` #### 优化建议 1. **分批处理**： - 大数据量时手动分批次调用（如每批 5000 条），避免单次 SQL 过长或内存溢出。 ```java List<List<User>> batches = ListUtils.partition(userList, 5000); // 使用 Guava 或 Apache Commons 分片 batches.forEach(batch -> userMapper.insertBatch(batch)); ``` 2. **调整数据库配置**： - 增加 Oracle 的 `SQL` 语句长度限制（通过 `ALTER SYSTEM` 修改参数）。 - 优化连接池（如 Druid）的 `maxActive` 参数，避免连接耗尽[^2]。 3. **性能监控**： - 使用 JDBC 日志或 APM 工具（如 SkyWalking）监控 SQL 执行时间。 #### 注意事项 - **事务管理**：确保批量操作在 `@Transactional` 注解下，失败时回滚。 - **兼容性**：上述 XML 语法适用于 Oracle 12c 及以上版本；旧版本可能需要改用存储过程[^4]。 - **MP 版本**：MyBatis-Plus 3.4.0+ 已优化批量支持，但仍推荐自定义 SQL 以最大化性能[^3]。 通过自定义方法，Oracle 批量插入性能可提升 5-10 倍，尤其适合日志入库、数据迁移等场景[^1][^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值