记一次Mock100万数据到数据库遇到的问题

原创

于 2016-07-03 14:20:32 发布 · 2.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #批量插入

本文记录了一次在Mock100万数据到MySQL时遇到的批量插入速度慢的问题。通过Google搜索、加Log和Debug，发现问题是由于内部的慢查询拦截器导致的大量内存复制。解决方案是优化String替换操作，使用Pattern和Matcher提高性能。批量插入能显著减少日志量和解析次数，提高效率，最终成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

需要Mock100万数据到数据库。

逐条插入

如果一条一条的插入，模拟1000条，花费了8秒，100万的话，大约花费3个小时，太慢。

批量插入

问题出现

1000条一次进入插入。

consoleLogger.info("This Batch, {}, Time start : {}", batchTotal, s);
orderMapper.batchInsert(orderList);
consoleLogger.info("This Batch, {}, Time elapsed : {}", batchTotal, System.currentTimeMillis() - s);

按照理论，应该比逐条快很多，但是，结果花费了14秒，非常奇怪，开始查找原因。