MyBatisPlus批量写入方法saveBatch速度很慢的解决方案

文章讲述了在使用MyBatisPlus进行批量插入时遇到的性能问题,通过设置数据库配置rewriteBatchedStatements为true,实现了批量SQL语句的优化,显著提高了插入速度。此外,还介绍了MyBatisPlus的InsertBatchSomeColumn方法,用于指定插入部分列以进一步提升效率,并提供了配置和使用该方法的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、场景描述

项目组在使用MyBatisPlus的批量插入方法saveBatch时速度缓慢,插入1w条数据,需要近1分钟的时间。

二、解决方案

解决方案很简单,在数据库配置的uri后面加上下面这个属性即可:

rewriteBatchedStatements=true

图片.png加上之后发现,1w条数据入库也就在几百毫秒左右。
那么这个参数究竟是干什么用的呢,查阅了一下资料,得到下面这个描述:

rewriteBatchedStatements 是 MySQL JDBC 驱动程序的一个参数,用于启用或禁用批量更新语句的优化。当该参数设置为 true 时,JDBC 驱动程序会将多个 SQL 语句封装成一条批量更新语句,从而提高更新操作的效率;而当该参数设置为 false 时,JDBC 驱动程序则会将多个 SQL 语句单独发送到数据库服务器,并逐一执行,这种方式比较耗费时间和资源。

相当于这个参数设置为true的时候,执行的sql是类似下面这种形式:

insert into t (…) values (…) , (…), (…)

所以,如果自己在xml中写批量插入语句也是可以解决这个问题,例如下面这个写法:

<insert id="insertUsers">
  INSERT INTO user (user_id, user_name)
  VALUES
  <foreach collection ="userList" item="user" separator =",">
    (#{user.userId}, #{user.userName})
  </foreach>
</insert>

这样的话,每个xml中都需要写这一段,不用代码生成工具的话,不太友好,所以MyBatisPlus中有一个InsertBatchSomeColumn方法

三、拓展学习InsertBatchSomeColumn

这个InsertBatchSomeColumn方法可以给每个xml添加批量插入的方法,当然这个方法主要是为了,指定插入具体的列,而不是全部列,从而减轻数据库服务器的负担,提高数据插入效率。下面我们来配置下这个方法
1、首先拓展下MyBatisPlus自带的一个SQL注入器,加入InsertBatchSomeColumn方法

public class MySqlInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass);
        methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.UPDATE));
        return methodList;
    }
}

2、然后配置下我们的SQL

@Configuration
public class MybatisPlusConfig {
    @Bean
    public MySqlInjector sqlInjector() {
        return new MySqlInjector();
    }
}

3、拓展BaseMapper加入insertBatchSomeColumn方法

public interface MyBaseMapper<T> extends BaseMapper<T> {
    /**
     * 批量插入 仅适用于mysql
     *
     * @param entityList 实体列表
     * @return 影响行数
     */
    Integer insertBatchSomeColumn(Collection<T> entityList);
}

4、最后调用一下试试

@Test
public void insertBatchSomeColumnTest() {
    List<User> userList = new ArrayList<>();
    for (int i = 0; i < 10000; i++) {
        User user = new User();
        user.setUserId("userId" + i);
        user.setUserName("userName" + i);
        userList.add(user);
    }
    long startTime = System.currentTimeMillis();
    userMapper.insertBatchSomeColumn(userList);
    long endTime = System.currentTimeMillis();
    log.info("执行时间:" + (endTime - startTime) + "ms");
}

发现执行时间:824ms
具体执行的sql是什么样子的呢,我们可以在 InsertBatchSomeColumn 的方法 injectMappedStatement 里打上断点,删除数据,再执行一次看看
图片.png可以看到,sql正是我们想看到的,foreach循环

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

每天进步亿点点的小码农

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值