mybatis批量插入list切割list算法

最新推荐文章于 2025-06-15 02:13:16 发布
原创 最新推荐文章于 2025-06-15 02:13:16 发布 · 509 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

int totalNum = 9;
        int batchCommitNumber=10;
         int subListNum= totalNum/batchCommitNumber;
         List<Integer> collect = IntStream.range(0, 9).boxed().collect(Collectors.toList());
         for (int j = 0; j < subListNum+1; j++) {
             int start=j*batchCommitNumber;
             int end=(j+1)*batchCommitNumber;
             if (j==subListNum) {
                 end=totalNum-1;
            }
             if (start>end) {
                continue;
            }
          List<Integer> subList = collect.subList(j*batchCommitNumber, end);
          if (j==subListNum) {
              subList.add(collect.get(end));
          }

mybatis批量更新数据三种方法效率对比【Mysql】
【优快云】
03-20 674
探讨批量更新数据三种写法的效率问题。 实现方式有三种， 用for循环通过循环传过来的参数集合，循环出N条sql， 注意第一种方法要想成功，需要在db链接url后面带一个参数 &allowMultiQueries=true 即：jdbc:mysql://localhost:3306/mysqlTest?characterEncoding=utf-8&allowMultiQueries=true <!-- 批量更新第一种方法，通过接收传进来的参数list进行...
2021-01-28 mybatis批量更新数据
学海无涯,我用JAVA
01-28 250
myabtis 更新大量数据时候,分批次更新,加快更新效率。
将一个比较大的list分割为多个小的list
07-29
将一个比较大的list分割为多个小的list，可以解决mybatis批量插⼊数据list超过⼀定长度时报错的解决办法
将List 按照指定数量进行拆分，mybatis 批量保存数据
weixin_30338497的博客
04-27 760
需求：读取excel 里面的数据，然后存储到数据库，因为excel 里数据量比较大 1-2w 条，一次性存储到数据库速度会很慢，考虑将List 拆分成1000size 的多个List 现在有一个List 里面有110条数据，想要均匀拆分成3个小List int sum = list.size(); 数据总条数 System.out.println("...
分割List
君醉酒的博客
10-07 4471
/** * 分割List * * @param list 待分割的list * @param pageSize 每段list的大小 * @return List> */ public static List> splitList(List list, int pageSize) { int listSize
批量插入
热门推荐
SongYu的博客
12-16 1万+
注意： mysql服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理的支持。将?rewriteBatchedStatements=true写在配置文件的url后面 使用更新的mysql 驱动：mysql-connector-java-5.1.37-bin.jar 1. 声明配置文件 jdbc.properties user=root password=00000000 ur...
【mybatis】mybatis中批量插入 批量更新 batch 进行insert 和 update，或者切割LIst进行批量操作...
weixin_34176694的博客
08-17 493
================================================================== 分别展示 mybatis 批量新增 和 批量更新 的操作： controller层： goodsService.batchInsert(insertGoodsList); goodsService.batchUpdate(updateGo...
Java 领域 MyBatis 批量插入的优化策略
AI开发架构师
05-16 635
在现代企业级应用中，高效的数据持久化操作是保证系统性能的关键因素之一。批量插入作为常见的数据库操作场景，其性能直接影响系统的整体响应时间和吞吐量。本文旨在全面分析MyBatis框架下批量插入的各种实现方式及其优化策略，帮助开发者根据实际场景选择最适合的解决方案。文章首先介绍MyBatis批量插入的基本概念和常见问题，然后深入分析各种优化策略的原理和实现方式。接着通过实际案例展示不同优化方法的效果，最后总结在不同场景下的最佳实践。MyBatis：一个优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。
Mybatis插入大量数据效率对比：foreach插入、SqlSession批量插入、sql插入
2401_84048034的博客
04-09 1003
sql插入的效率最高，sqlsession次之，mybatis框架foreach插入效率最低。执行效率echarts图：来源：blog.youkuaiyun.com/chenping1993/自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
Java 领域 MyBatis 的批量操作优化
AI开发架构师
06-15 391
在 Java 开发中，MyBatis 是一个广泛使用的持久层框架。当我们需要对数据库进行大量数据的插入、更新或删除操作时，批量操作就显得尤为重要。本文的目的就是深入探讨如何对 MyBatis 的批量操作进行优化，以提高系统的性能和效率。范围涵盖了 MyBatis 批量操作的基本原理、优化方法、实际应用等方面。
mybatis传入分割字符串做参数
weixin_43568480的博客
05-19 2184
需求：更改指定一些客户的一个字段 设计：传参两个（一个需要更改字段，一个客户id字符串用","隔开） 问题：mybatis中sql语句里条件报错，原因是用了#{clientIds}传入sql中是字符串形式 where id in (#{clientIds}) 等于 where id in ("1,2,3,4") 报错 解决：方法1、客户id字符串在代码里分割成list，mybatis中list遍历 （<foreach collection="clientIds" item="item" index="
【mybatis】mybatis中批量插入 批量更新 batch 进行insert 和 update，或者切割LIst进行批量操作
MRchen009的博客
03-20 2598
转载https://www.cnblogs.com/sxdcgaq8080/p/9494336.html 分别展示 mybatis 批量新增 和 批量更新 的操作： controller层： goodsService.batchInsert(insertGoodsList); goodsService.batchUpdate(updateGoodsList); service层： 切割Lis...
Java--MyBatis批量插入、批量更新和批量删除
MinggeQingchun的博客
10-21 6086
MyBatis批量插入数据 [Mybatis 插入与批量插入以及多参数批量删除] (http://www.cnblogs.com/liaojie970/p/5577018.html)注意项：需要注意id是varchar类型还是bigint/int类型 1、批量插入 WaterEleMapper.xml部分代码 <!--批量增加测试--> <insert id="insertList" parameterType="java.util.List"> in
Mybatis使用sql拼接，使用List切片，进行分片查询。
qq_43436117的博客
11-18 1997
分片实现的场景 当在for循环中，对数据库进行操作的时候，每一次循环都会与数据库建立连接，对数据库造成了很大的压力。 这个时候可以使用sql拼接的方式，但是我们在sql拼接的时候，如果拼接的字符串过长，数据库仍然会报错， 这个时候，我们需要根据实际情景，去设置一个list的分片大小。 1.对List分片，实现sql拼接，减少对数据库的查询次数。 集合过大，单词处理sql拼接字符串过长，对数据库会造成很大压力，甚至报错。 比如 Oracle数据库中IN参数个数不能超过1000 。 首先，通过List对实现sq
几种常用算法（快速、选择、插入、迭代）
u013115923的博客
08-31 237
[code="java"] //利用Arrays带有的排序方法快速排序 public static void main(String[] args){ int[] a={5,4,2,4,9,1}; Arrays.sort(a); //进行升序排序 for(int i: a){ ...
mybatis xml中根据分隔符遍历字符传
qq_31564573的博客
04-20 860
如题：mybatis xml中根据分隔符遍历字符传 demo: List<TableVo> getTablesByIds(@Param("ids") String ids); select * from table where is_deleted = 0 and id in <foreach collect...
【Mybatis】分割字符串
sayyy的专栏
09-04 9593
前言 springboot 2.1.1.RELEASE 分割字符串 <select id="selectXXXList" parameterType="XXX" resultMap="XXXResult"> select * from xxx <where> <if test="tagIds != null and tagIds != ''"> and <foreach item="tagId" collec
mybatis 使用in条件式，list长度大于1000时分割成多个list
qq_29316743的博客
11-21 786
2.mybatis 使用in查询。1.list分割工具。
mybatis xml 拆分
weixin_43973832的博客
07-15 1013
mybatis 拆分
Mybatis-plus @Insert 批量插入
最新发布
11-29
<think> 我们正在讨论MyBatis-Plus中使用@Insert注解实现批量插入的方法。根据引用内容，我们可以总结出以下几点关键信息： 1. 引用[1]展示了一个使用@Insert注解配合<script>标签和<foreach>标签实现批量插入的例子。这种方法通过XML风格的动态SQL在注解中直接编写SQL语句，其中<foreach>用于遍历集合。 2. 引用[2]提醒我们注意主键生成策略。如果使用MyBatis-Plus的雪花算法自动生成主键，需要确保在实体类的主键字段上正确配置@TableId注解，并且在批量插入时不要手动设置主键值（除非使用其他生成策略）。 3. 引用[3]提到一个常见错误：参数绑定异常。在批量插入时，需要确保在@Param注解中正确指定参数名，并且在SQL语句中引用正确的参数。 因此，实现批量插入的步骤如下： 1. 在Mapper接口中定义一个方法，使用@Insert注解，并在注解值中编写插入SQL。 2. SQL语句使用<script>包裹，以便使用动态SQL标签（如<foreach>）。 3. 在SQL语句中，使用<foreach>标签遍历传入的集合，生成多个插入值。 4. 方法参数前使用@Param注解指定参数名，并在SQL中引用该参数名。 下面给出一个具体的例子： 假设我们有一个实体类`User`，对应的数据库表为`user`，包含字段`id`（主键，使用MyBatis-Plus的雪花算法自动生成）、`name`和`age`。 首先，确保实体类的主键配置正确： ```java public class User { @TableId(type = IdType.ASSIGN_ID) // 使用雪花算法自动生成主键（默认策略，可省略） private Long id; private String name; private Integer age; // 省略getter和setter } ``` 然后，在Mapper接口中编写批量插入方法： ```java public interface UserMapper extends BaseMapper<User> { @Insert("<script>" + "INSERT INTO user (id, name, age) VALUES " + "<foreach collection='userList' item='item' separator=','> " + "(#{item.id}, #{item.name}, #{item.age}) " + "</foreach>" + "</script>") void insertBatch(@Param("userList") List<User> userList); } ``` 注意点： - 在<foreach>标签中，`collection`属性指定了参数名（即`@Param`注解指定的名称），`item`属性指定了集合中每个元素的别名，`separator`指定了每个值之间的分隔符（这里是逗号）。 - 在插入语句中，我们显式写入了`id`字段，但是这里我们使用`#{item.id}`，而MyBatis-Plus在插入时如果发现`id`为null，且主键策略是`IdType.ASSIGN_ID`（默认），则会自动生成一个雪花算法ID。因此，在传入的User对象列表中，我们不需要设置`id`，MyBatis-Plus会在插入时自动填充。 但是，这里有一个重要问题：在批量插入的SQL中，我们每个插入值都包含了`id`字段，并且期望MyBatis-Plus自动生成。然而，在MyBatis的层面，当我们使用`#{item.id}`时，如果`item.id`为null，那么插入的id就是null，这会导致主键为null而违反数据库约束（除非数据库设置了主键自增，但这里我们用的是雪花算法，数据库不应设置自增，而是由程序生成）。 因此，我们需要确保在插入之前，每个User对象的id已经被设置。但是，如果我们依赖MyBatis-Plus的自动填充，通常是在插入单个对象时由MyBatis-Plus在调用`insert`方法时自动填充。而在自定义的批量插入中，MyBatis-Plus不会自动填充。 解决方案： 1. 在调用批量插入方法之前，手动为每个User对象设置ID（使用MyBatis-Plus提供的IdWorker生成，或者使用实体类中配置的填充策略，但需要手动触发）。 2. 修改Mapper中的SQL，不在SQL中写id字段，让数据库自动生成（但数据库需要设置自增主键，且实体类主键策略为`IdType.AUTO`），但这与雪花算法冲突。 如果我们想保持使用雪花算法，则应该在业务代码中为每个User对象生成ID。例如： ```java List<User> userList = new ArrayList<>(); for (int i = 0; i < 10; i++) { User user = new User(); user.setName("user" + i); user.setAge(20 + i); // 手动设置ID，使用MyBatis-Plus提供的IdWorker（3.3.0之前）或者IdentifierGenerator（3.3.0之后） // 注意：在3.3.0之后，IdWorker被移除了，建议使用IdentifierGenerator，但通常我们直接设置一个分布式ID // 可以使用如下方法： // user.setId(IdWorker.getId()); // 3.3.0之前 // 3.3.0及之后，可以使用： // user.setId(new Snowflake().nextId()); 或者使用工具类 // 或者如果你配置了MyBatis-Plus的KeyGenerator，也可以自动生成，但这里我们自定义批量插入，需要手动设置。 // 由于我们使用的是自定义SQL，所以需要手动设置ID。 user.setId(IdUtil.getSnowflakeNextId()); // 使用hutool的IdUtil，或者自己实现 } userMapper.insertBatch(userList); ``` 但是，如果我们希望像MyBatis-Plus内置的`insert`方法一样自动填充ID，我们可以使用MyBatis-Plus的`SqlHelper`中的`executeBatch`方法来执行批量插入，这样就会触发自动填充。但这样就不是使用@Insert注解的方式了。 因此，使用@Insert注解进行批量插入时，如果需要生成主键，我们需要手动设置主键值。 另外，引用[3]中提到的错误，我们需要注意在SQL中引用的参数名必须和@Param注解中指定的参数名一致。例如，在<foreach>中`collection='userList'`，而方法参数为`@Param("userList")`，这样就不会出现参数绑定异常。 总结：使用@Insert注解实现批量插入，需要编写动态SQL，并注意主键生成和参数绑定问题。 §§相关问题§§ 1. MyBatis-Plus中使用@Insert注解批量插入时，如何避免主键重复？ 2. 除了@Insert注解，MyBatis-Plus还有哪些批量插入的方法？ 3. 如何解决MyBatis-Plus批量插入时的性能问题？ </think>### MyBatis-Plus 使用 `@Insert` 注解实现批量插入的方法 在 MyBatis-Plus 中，使用 `@Insert` 注解实现批量插入需结合 **动态 SQL 语法**（`<script>` 和 `<foreach>` 标签）。以下是具体步骤和完整示例： #### 1. **Mapper 接口定义** ```java @Mapper public interface MaterialMapper extends BaseMapper<MaterialData> { // 批量插入方法 @Insert("<script>" + "INSERT INTO your_table (id, field1, field2, create_time) VALUES " + "<foreach collection='list' item='item' separator=','> " + "(#{item.id}, #{item.field1}, #{item.field2}, #{item.createTime}) " + "</foreach>" + "</script>") void insertBatch(@Param("list") List<MaterialData> dataList); } ``` #### 2. **关键配置说明** | 组件 | 说明 | |--------------|----------------------------------------------------------------------| | **`<script>`** | 包裹动态 SQL，允许在注解中使用 XML 标签 | | **`<foreach>`** | 遍历集合参数：<br> • `collection`：参数名（需与 `@Param` 一致）<br> • `item`：集合元素的别名<br> • `separator`：生成的 SQL 片段分隔符 | | **`@Param`** | 显式声明参数名，避免 `Parameter 'xxx' not found` 错误 [^3] | #### 3. **实体类配置（主键生成策略）** ```java public class MaterialData { @TableId(type = IdType.ASSIGN_ID) // 使用雪花算法自动生成 ID private Long id; private String field1; private String field2; private Date createTime; // 省略 getter/setter } ``` **注意**： - 若需自动生成主键，确保 `@TableId(type = IdType.ASSIGN_ID)` 已配置 [^1] - **禁止手动设置 ID**，否则会导致雪花算法失效 [^2] #### 4. **常见问题解决** 1. **主键未自动生成** - 检查 `@TableId` 类型是否为 `IdType.ASSIGN_ID`（默认值） - 确保数据库表 **未设置主键自增**（AUTO_INCREMENT），应与雪花算法策略一致 [^2] 2. **参数绑定异常** 错误信息：`Parameter 'item' not found. Available parameters [list, param1]` **解决方案**： - 使用 `@Param("list")` 明确声明集合参数名 - SQL 中 `collection` 属性值必须与 `@Param` 定义的名称一致 [^3] 3. **性能优化** 大批量插入时，建议分批次处理（如每 1000 条执行一次插入），避免单次 SQL 过长。 --- ### 完整调用示例 ```java // 业务层调用 @Service public class MaterialService { @Autowired private MaterialMapper materialMapper; public void batchInsert(List<MaterialData> dataList) { // 无需手动设置 ID！MyBatis-Plus 会自动填充 materialMapper.insertBatch(dataList); } } ``` ### 注意事项 1. **主键冲突**：确保未手动设置 `id` 字段，否则会覆盖自动生成的分布式 ID。 2. **SQL 长度**：单次插入数据量过大可能导致数据库拒绝，需分批处理。 3. **事务管理**：在 Service 层添加 `@Transactional` 保证原子性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值