记一次Mock100万数据到数据库遇到的问题

最新推荐文章于 2025-02-14 15:15:03 发布

新拖拉机

最新推荐文章于 2025-02-14 15:15:03 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：持久化存储文章标签： mysql 批量插入

本文链接：https://blog.youkuaiyun.com/puma_dong/article/details/51815032

本文记录了一次在Mock100万数据到MySQL时遇到的批量插入速度慢的问题。通过Google搜索、加Log和Debug，发现问题是由于内部的慢查询拦截器导致的大量内存复制。解决方案是优化String替换操作，使用Pattern和Matcher提高性能。批量插入能显著减少日志量和解析次数，提高效率，最终成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

需要Mock100万数据到数据库。

逐条插入

如果一条一条的插入，模拟1000条，花费了8秒，100万的话，大约花费3个小时，太慢。

批量插入

问题出现

1000条一次进入插入。

consoleLogger.info("This Batch, {}, Time start : {}", batchTotal, s);
orderMapper.batchInsert(orderList);
consoleLogger.info("This Batch, {}, Time elapsed : {}", batchTotal, System.currentTimeMillis() - s);

按照理论，应该比逐条快很多，但是，结果花费了14秒，非常奇怪，开始查找原因。