<think>我们讨论的是在MyBatis-Plus
批量插入
时如何避免重复
数据。根据引用内容，我们可以结合去重和
批量插入的技术。核心
思路：1.在插入之前，在应用层（Java代码）中对
数据进行去重处理。2.在
数据库层面设置唯一约束（如唯一索引），利用
数据库的特性避免重复（当重复
时，可以
选择忽略或更新）。具体步骤：
方法一：应用层去重（推荐）-步骤1：在将
数据列表传递给MyBatis-Plus的
批量插入
方法之前，先对列表进行去重。-步骤2：去重
方法可以使用之前提到的Streamdistinct()或LinkedHashSet，但前提是对象必须正确重写equals()和hashCode()
方法（根据业务唯一标识）。-步骤3：然后使用MyBatis-Plus的
批量插入
方法（例如saveBatch）插入去重后的列表。
方法二：
数据库层去重（利用唯一索引和
批量插入的SQL特性）-步骤1：在
数据库表中为需要唯一约束的字段（或字段组合）创建唯一索引。-步骤2：在
批量插入
时，使用MyBatis-Plus提供的自定义
批量插入
方法（如InsertBatchSomeColumn）并配合ONDUPLICATEKEYUPDATE（MySQL）或INSERT...ONCONFLICT...DOUPDATE（PostgreSQL）等语句，实现重复
时更新或忽略。根据引用[3]，我们可以使用XML映射语句实现
批量插入并处理重复
数据（使用ONDUPLICATEKEYUPDATE）。但是注意，MyBatis-Plus默认的saveBatch
方法不支持该特性，需要自定义SQL。
方法三：使用MyBatis-Plus的扩展（InsertBatchSomeColumn
方法）-引用[5]提到，通过扩展MyBatis-Plus的SqlInjector，
添加InsertBatchSomeColumn
方法，该
方法支持
批量插入，并且可以配置插入的字段（排除某些字段，如更新字段）。-但是，该
方法本身并不处理重复
数据，因此需要结合
方法二（
数据库唯一索引）以及扩展SQL语句（使用ONDUPLICATEKEYUPDATE）来实现重复
数据的处理。具体实现：方案1：应用层去重+
批量插入```java//假设有一个原始
数据列表List<YourEntity>list=...;//去重（使用LinkedHashSet保持顺序）Set<YourEntity>set=newLinkedHashSet<>(list);List<YourEntity>distinctList=newArrayList<>(set);//使用MyBatis-Plus的saveBatch
方法yourService.saveBatch(distinctList);```方案2：
数据库唯一索引+自定义
批量插入SQL（处理重复）-步骤1：在
数据库表中创建唯一索引（例如，在字段name上创建唯一索引）。-步骤2：编写自定义的Mapper
方法，使用ONDUPLICATEKEYUPDATE（MySQL）语法。Mapper接口：```javapublicinterfaceYourMapperextendsBaseMapper<YourEntity>{intinsertBatchOnDuplicateUpdate(List<YourEntity>list);}```XML映射文件：```xml<insertid="insertBatchOnDuplicateUpdate">INSERTINTOyour_table(id,name,...)VALUES<foreachcollection="list"item="item"separator=",">(#{item.id},#{item.name},...)</foreach>ONDUPLICATEKEYUPDATEname=VALUES(name),...=VALUES(...)</insert>```注意：ONDUPLICATEKEYUPDATE后面的字段更新可以根据业务需求设置。如果只是不想插入重复
数据（忽略重复），可以使用IGNORE关键字（但要注意IGNORE会忽略所有错误，谨慎使用）或者使用ONDUPLICATEKEYUPDATE更新为原值（但这样还是会触发更新操作，可能影响自增主键）。方案3：使用MyBatis-Plus扩展的InsertBatchSomeColumn
方法，并配合ONDUPLICATEKEYUPDATE（需要进一步自定义）-引用[5]中提供的扩展
方法（InsertBatchSomeColumn）只实现了
批量插入，没有处理重复。所以需要在此基础上修改SQL，
添加ONDUPLICATEKEYUPDATE部分，这可能需要修改InsertBatchSomeColumn的源码（或自定义一个
方法）。性能考虑：-引用[2]提到，InsertBatchSomeColumn的性能优于saveBatch（因为saveBatch实际上是循环单条插入，而InsertBatchSomeColumn是真正的
批量SQL）。-因此，在
数据量较大
时，建议使用方案2（自定义
批量插入SQL）或方案3（扩展InsertBatchSomeColumn并支持重复处理）。注意事项：-应用层去重只能保证本次插入的列表中没有重复，但无法避免
与数据库中已有
数据的重复。因此，如果要去除
与数据库已有
数据的重复，必须在
数据库层设置唯一约束，并处理插入
时的重复情况。-
数据库唯一索引是保证
数据唯一性的最终手段。总结：-如果重复只存在于待插入的列表中，使用应用层去重（方案1）即可。-如果还需要避免
与数据库中已有
数据重复，则必须使用方案2（
数据库唯一索引+自定义SQL处理重复插入）。根据引用[4]中的异常，注意在扩展MyBatis-Plus
方法时，要正确配置Mapper和SQL映射，避免出现找不到Mapper
方法的异常。相关问题：1.MyBatis-Plus中如何配置唯一索引？2.如何扩展MyBatis-Plus的
批量插入
方法？3.ONDUPLICATEKEYUPDATE和REPLACEINTO有什么区别？4.如何在SpringBoot中正确重写实体类的equals和hashCode
方法？5.
批量插入
时如何同
时返回自增主键？</think>### MyBatis-Plus
批量插入
数据避免重复的解决方案
在 MyBatis-Plus
批量插入
时避免重复
数据，需要结合应用层去重和
数据库层约束两种策略。以下是具体实现方案：
---
#### 方案一：应用层去重（推荐）
**在插入前对 Java 集合进行去重处理**
```java
// 1. 实体类必须正确重写equals和hashCode
public class User {
@Override
public boolean equals(Object o) {
if (this == o) return true;
if (o == null || getClass() != o.getClass()) return false;
User user = (User) o;
return Objects.equals(uniqueField, user.uniqueField); // 根据业务唯一标识
}
@Override
public int hashCode() {
return Objects.hash(uniqueField);
}
}
// 2. 插入前使用Stream去重
List<User> users = ... // 原始
数据
List<User> distinctUsers = users.stream()
.distinct()
.collect(Collectors.toList());
// 3. 执行
批量插入
userService.saveBatch(distinctUsers); // 使用MyBatis-Plus的saveBatch
方法
```
**优点**：
- 减少
数据库压力
- 避免无效的插入操作
- 保持业务逻辑清晰[^1]
---
#### 方案二：
数据库层去重
**通过
数据库唯一约束确保
数据唯一性**
```sql
-- 创建唯一索引（MySQL示例）
ALTER TABLE user ADD UNIQUE INDEX idx_unique_field (unique_field);
```
**
批量插入
时处理重复
数据**（XML方式）：
```xml
<insert id="batchInsertOnDuplicateUpdate">
INSERT INTO user (id, name, unique_field)
VALUES
<foreach collection="list" item="item" separator=",">
(#{item.id}, #{item.name}, #{item.uniqueField})
</foreach>
ON DUPLICATE KEY UPDATE
name = VALUES(name) -- 重复
时更新其他字段
</insert>
```
**处理策略**：
| 场景 | SQL 方案 |
|--------------------------|----------------------------------|
| 忽略重复 | `INSERT IGNORE INTO ...` |
| 重复
时更新其他字段 | `ON DUPLICATE KEY UPDATE ...` |
| 重复
时不做任何操作 | 使用唯一索引 + 应用层捕获异常 |
---
#### 方案三：MyBatis-Plus 扩展
方法
**使用高性能的 `InsertBatchSomeColumn`
方法**（需配置扩展）[^5]：
```java
// 1. 自定义SQL注入器
public class CustomSqlInjector extends DefaultSqlInjector {
@Override
public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
List<AbstractMethod> methods = super.getMethodList(mapperClass);
methods.add(new InsertBatchSomeColumn(i -> !i.isLogicDelete()));
return methods;
}
}
// 2. 配置类
@Configuration
public class MybatisPlusConfig {
@Bean
public CustomSqlInjector sqlInjector() {
return new CustomSqlInjector();
}
}
// 3. Mapper接口
添加方法
public interface UserMapper extends BaseMapper<User> {
Integer insertBatchSomeColumn(@Param("list") List<User> list);
}
// 4. 使用去重后的
数据调用
userMapper.insertBatchSomeColumn(distinctUsers);
```
**性能对比**（引用[2]测试
数据）：
```
InsertBatchSomeColumn > 自定义XML > SaveBatch > 循环插入
```
---
#### 最佳实践组合
1. **前端/服务层**：提交
数据前进行初步去重
2. **Java 应用层**：
- 使用 `stream().distinct()` 去重
- 调用高性能的 `insertBatchSomeColumn`
方法
3. **
数据库层**：
- 设置唯一索引作为最终保障
- 使用 `ON DUPLICATE KEY UPDATE` 处理重复
---
#### 常见问题解决
**问题：`PersistenceException: Mapped Statements not found`**
**原因**：未正确配置自定义
方法[^4]
**解决**：
1. 检查 Mapper 接口是否声明自定义
方法
2. 确认 XML 文件中 SQL 的 id
与方法名匹配
3. 验证是否注入 `CustomSqlInjector`
```java
// 正确配置示例
@Mapper
public interface UserMapper extends BaseMapper<User> {
// 必须声明自定义
方法
Integer insertBatchSomeColumn(@Param("list") List<User> list);
}
```
---
#### 相关问题
1. 如何在 MyBatis-Plus 中配置多字段组合唯一索引？[^3]
2. `ON DUPLICATE KEY UPDATE` 和 `REPLACE INTO` 的性能差异是什么？[^2]
3.
批量插入
时如何获取
数据库生成的自增ID？[^5]
4. MyBatis-Plus
批量更新
时如何避免重复更新？
5. 高并发场景下如何保证
批量插入的
数据唯一性？
博客介绍了程序中批量新增数据的相关内容。指出批量新增思路与单条新增类似，只是获取多条数据，可通过遍历循环提交。还通过案例展示，将第一张表数据新增到第二张表，在控制器检查重复数据，最终演示了批量新增的效果。
扫一扫
1187
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
