场景解决之mybatis批量插数报错如何揪出罪魁祸首

场景：

在使用MyBatis框架进行数据库操作时，需要批量插入500条数据。假设在这个过程中，有一条数据因为某种原因导致插入失败，我们需要确保其他的499条数据能够成功插入，同时捕获并处理导致错误的那一条数据。

涉猎知识：

• MyBatis的批量操作
• 事务管理
• 异常处理
• 数据库的ACID原则

题目分析：

此题目要求在批量操作中对单条记录的失败有容错处理，即使在遇到个别错误数据时也能保持整体的数据插入。要实现这一点，我们需要在MyBatis中对事务进行细粒度的控制，并且要能够对错误进行捕获和处理。

具体分析

方案一、

刚看到这个问题的时候，我脑袋里第一时间想到的就是挨个遍历，一条一条插入，这种想法特别强烈，谁都拦不住。
代码形如

 public void batchInsert(List<Entity> entityList) {
        EntityMapper mapper = sqlSession.getMapper(EntityMapper.class);
        for (Entity entity : entityList) {
            try {
                mapper.insert(entity);
                sqlSession.commit();
            } catch (Exception e) {
                sqlSession.rollback();
                // 记录错误的数据，打印日志
                logError(entity, e);
            }
        }
    }

我真是个大聪明。。。。。。。。

方案二、

将大批量数据分成多个小批量，例如每批100条。然后对每一批数据执行插入操作，并捕获异常。如果一个批量插入操作失败，则可以退回到单条插入模式，只对那个具体的批量进行异常捕获。

int batchSize = 100; //设定批量大小
List<List<Entity>> batches = splitIntoBatches(entityList, batchSize);

for (List<Entity> batch : batches) {
    try {
        // 尝试批量插入
        mapper.batchInsert(batch);
        sqlSession.commit();
    } catch (Exception e) {
        sqlSession.rollback();
        // 如果批量插入失败，尝试单条插入
        for (Entity entity : batch) {
            try {
                mapper.insert(entity);
                sqlSession.commit();
            } catch (Exception ex) {
                sqlSession.rollback();
                // 记录错误的数据
                logError(entity, ex);
            }
        }
    }
}

最优解：应用二分查找法优化批量插入

策略概述

当批量插入失败时，我们可以将数据集分成两半，对每一半进行再次的批量尝试。如果子批次仍然失败，继续对出错的子批次进行二分，递归这个过程，直到定位到具体的出错数据。

实现步骤

• 初始批量插入：首先进行一次全量的批量插入尝试。
• 错误捕捉：当批量插入失败时，捕获异常并对数据集进行二分。
• 递归定位：递归地对每个子集进行批量插入尝试，直至定位出错的数据。
• 错误处理：一旦数据量减至单条而仍然出现错误，记录下这条数据并进行相应的错误处理。

void batchInsertWithBinarySearch(List<Entity> entityList) throws SQLException {
    try {
        mapper.batchInsert(entityList);
        sqlSession.commit();
    } catch (Exception e) {
        sqlSession.rollback();
        if (entityList.size() == 1) {
            // 记录错误信息
            logError(entityList.get(0), e);
        } else {
            // 分割数据集进行递归检查
            int middle = entityList.size() / 2;
            List<Entity> leftBatch = entityList.subList(0, middle);
            List<Entity> rightBatch = entityList.subList(middle, entityList.size());
            batchInsertWithBinarySearch(leftBatch);
            batchInsertWithBinarySearch(rightBatch);
        }
    }
}

注意事项

• 事务管理：每次递归调用前后都需要妥善处理事务。
• 性能考虑：如果错误数据广泛分布，频繁的递归可能导致性能开销。
• 错误处理：需要有明确的策略来处理找到的错误数据