文章讨论了在大数据量背景下，从大数据表向MySQL同步数据的多种技术方案，包括MyBatis批量插入、JDBC批量插入并开启事务以及结合数据分批和多线程的方法。对比结果显示，原生JDBC在大数据量处理上更优，但需注意资源管理和数据分批。此外，文章还涉及了对23w数据表的统计问题，指出内存统计可能导致OOM，建议改用数据库统计以减少内存占用。
业务背景：
大数据向mysql表同步百万级数量，我们需要将大数据表里同步过来的数据分别向三张业务表做数据同步，最终将业务表的数据展示给前台进行相关业务操作。
数据量级
大数据表：700w数据量
三张业务表分别需要同步：23w、80w、680w
技术方案设计
针对批量插入选择方案：
- mybatis批量插入
- mybatis批量插入+数据分批
- 原生jdbc批量插入+开启事务
- 原生jdbc批量插入+开启事务+数据分批
- 原生jdbc批量插入+开启事务+数据分批+多线程
方案对比结果：
- mybatis批量插入 1k数据量级
- mybatis批量插入+数据分批 10k数据量级
- 原生jdbc批量插入+开启事务 10w数据量级
- 原生jdbc批量插入+开启事务+数据分批 100w数据量级
- 原生jdbc批量插入+开启事务+数据分批+多线程 1000w数据量级
方案对比参考资料：
Mybatis与JDBC批量插入MySQL数据库性能测试
JAVA向Mysql插入亿级别数据
Mybatis批量插入
Mybatis批量插入优化
最低0.47元/天 解锁文章
扫一扫
1万+
到【灌水乐园】发言
