JDBC批量插入数据(100W+条数据)

最新推荐文章于 2025-06-10 20:36:58 发布

Java开发之旅

最新推荐文章于 2025-06-10 20:36:58 发布

阅读量9.2k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：技术杂谈文章标签： JDBC批处理百万级数据写入

本文链接：https://blog.youkuaiyun.com/wzy18210825916/article/details/88083395

背景描述

最近在做ETL数据清洗的时候，遇到一个很大的数据源，每10分钟就有10W+的数据要写入数据仓库，传统的JDBC插入操作需要半个小时左右才能插入完，效率很低，甚至因为长时间占用Connection连接，引出其他异常。

后来想到了JDBC的批处理，在自己的本机上测试了一下，10W条数据只需4秒左右，50W条数据8秒左右，100W条约15秒，当然博主的电脑还是比较垃圾的，在真正的服务器上将会产生巨大的性能优化！话不多说，上代码！！！

JDBC批处理代码

package com.bq.siem;

import com.bq.siem.common.manager.DataBaseManager;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class Test {
    public static void main(String[] args) throws SQLException {
        //DataBaseManager类是我自己封装的一个工具类，用于获取、关闭数据库资源，
        //大家如果只是自己测试用没必要，用DriverManager操作即可
        Connection connection= DataBaseManager.getConnection();
        
        //这里必须设置为false，我们手动批量提交
        connection.setAutoCommit(false);
        
        //这里需要注意，SQL语句的格式必须是预处理的这种，就是values(?,?,...,?)，否则批处理不起作用
        PreparedStatement statement=connection.prepareStatement("insert into student(`name`,sex,age) val