jdbc，大批量插入数据速度测试

最新推荐文章于 2023-10-31 13:34:12 发布
最新推荐文章于 2023-10-31 13:34:12 发布
阅读量882 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： mysql 大数据插入
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_27886773/article/details/99619884
本文对比了四种不同的MySQL批量插入方法的性能，包括一次性插入大量数据、每1000条commit一次、每次插入都commit以及使用addBatch和executeBatch方法。实验结果显示，一次性插入大量数据的方法性能最佳。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

方法1：insert into table(field1,field2) values(value1,value2),(value3,value3)。每次提交1000条，插入10次耗时140ms，每次插入10000，插入10次，耗时818ms

这种方式是最快的，

/**

 * 140ms,1w,818ms,10w

 */

public void test1(){

    final String driver = "com.mysql.jdbc.Driver";

    final String url = "jdbc:mysql://localhost:3306/XX?useUnicode=true&characterEncoding=UTF8";

    final String user = "XXXX";

    final String password = "XXXX";

 

    Connection con = null;

    PreparedStatement pstm = null;

    Statement statement=null;

    ResultSet rs = null;

    boolean flag = false;

    try {

        Class.forName(driver);

        con = DriverManager.getConnection(url, user, password);

        con.setAutoCommit(false);

        StringBuilder insertSql = new StringBuilder();

        insertSql.append("insert into  duidandcity_20190805_hdfs (duid,ip,city,day,year) values ('1','2','3','4','5')");

        int begin = insertSql.length();

        long beginTime = System.currentTimeMillis();

        for (int i = 0; i < 10; i++) {

            statement=con.createStatement();

            for (int j = 0; j < 10000; j++) {//每隔10000插入一次

                insertSql.append(",('1','2','3','4','5')");

            }

            statement.execute(insertSql.toString());

            con.commit();

            insertSql.delete(begin,insertSql.length());

        }

        con.commit();

        long end = System.currentTimeMillis();

        System.out.println((end-beginTime));

    } catch (ClassNotFoundException e) {

        e.printStackTrace();

    } catch (SQLException e) {

        e.printStackTrace();

    } finally {

        if (rs != null) {

            try {

                rs.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭执行通道

        if (pstm != null) {

            try {

                pstm.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭连接通道

        try {

            if (con != null && (!con.isClosed())) {

                try {

                    con.close();

                } catch (SQLException e) {

                    e.printStackTrace();

                }

            }

        } catch (SQLException e) {

            e.printStackTrace();

        }

    }

}

方法2：每次插入execute执行一次，但是没1000条commit提交一次，1w条耗时3011。是方法1的30倍左右

/**

 * 3011，1w

 */

@Test

public void test2(){

    final String driver = "com.mysql.jdbc.Driver";

    final String url = "jdbc:mysql://localhost:3306/kpi?useUnicode=true&characterEncoding=UTF8";

    final String user = "XXX";

    final String password = "XXX";

 

    Connection con = null;

    PreparedStatement pstm = null;

    ResultSet rs = null;

    try {

        Class.forName(driver);

        con = DriverManager.getConnection(url, user, password);

        con.setAutoCommit(false);

        long beginTime = System.currentTimeMillis();

        for (int i = 0; i < 10; i++) {

 

            StringBuilder insertSql = new StringBuilder();

            insertSql.append("insert into  duidandcity_20190805_hdfs (duid,ip,city,day,year) values ('1','2','3','4','5')");

            pstm=con.prepareStatement(insertSql.toString());

            for (int j = 0; j < 1000; j++) {

                pstm.execute();

            }

            con.commit();

        }

        con.commit();

        long end = System.currentTimeMillis();

        System.out.println((end-beginTime));

    } catch (ClassNotFoundException e) {

        e.printStackTrace();

    } catch (SQLException e) {

        e.printStackTrace();

    } finally {

        if (rs != null) {

            try {

                rs.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭执行通道

        if (pstm != null) {

            try {

                pstm.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭连接通道

        try {

            if (con != null && (!con.isClosed())) {

                try {

                    con.close();

                } catch (SQLException e) {

                    e.printStackTrace();

                }

            }

        } catch (SQLException e) {

            e.printStackTrace();

        }

    }

}

方法3，每次插入都execute和commit，插入1w条数据，耗时15秒，是方法2的5倍，方法1的150倍

/**

 * 15354,1w

 *

 */

@Test

public void test3(){

    final String driver = "com.mysql.jdbc.Driver";

    final String url = "jdbc:mysql://localhost:3306/kpi?useUnicode=true&characterEncoding=UTF8";

    final String user = "root";

    final String password = "135239";

 

    Connection con = null;

    PreparedStatement pstm = null;

    ResultSet rs = null;

    try {

        Class.forName(driver);

        con = DriverManager.getConnection(url, user, password);

        con.setAutoCommit(false);

        long beginTime = System.currentTimeMillis();

        for (int i = 0; i < 10; i++) {

 

            StringBuilder insertSql = new StringBuilder();

            insertSql.append("insert into  duidandcity_20190805_hdfs (duid,ip,city,day,year) values ('1','2','3','4','5')");

            pstm=con.prepareStatement(insertSql.toString());

            for (int j = 0; j < 1000; j++) {

                pstm.execute();

                con.commit();

            }

        }

        con.commit();

        long end = System.currentTimeMillis();

        System.out.println((end-beginTime));

    } catch (ClassNotFoundException e) {

        e.printStackTrace();

    } catch (SQLException e) {

        e.printStackTrace();

    } finally {

        if (rs != null) {

            try {

                rs.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭执行通道

        if (pstm != null) {

            try {

                pstm.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭连接通道

        try {

            if (con != null && (!con.isClosed())) {

                try {

                    con.close();

                } catch (SQLException e) {

                    e.printStackTrace();

                }

            }

        } catch (SQLException e) {

            e.printStackTrace();

        }

    }

}

方法4，使用PreparedStatement的addbatch和executeBatch方法，1w条耗时1600，是方法2的一半左右

/**

 * 1w,1600

 */

@Test

public void test4(){

    final String driver = "com.mysql.jdbc.Driver";

    final String url = "jdbc:mysql://localhost:3306/kpi?useUnicode=true&characterEncoding=UTF8";

    final String user = "root";

    final String password = "135239";

 

    Connection con = null;

    PreparedStatement pstm = null;

    ResultSet rs = null;

    try {

        Class.forName(driver);

        con = DriverManager.getConnection(url, user, password);

        con.setAutoCommit(false);

        long beginTime = System.currentTimeMillis();

        StringBuilder insertSql = new StringBuilder();

        insertSql.append("insert into  duidandcity_20190805_hdfs (duid,ip,city,day,year) values ('1','2','3','4','5')");

        pstm=con.prepareStatement(insertSql.toString());

        for (int i = 0; i < 10; i++) {

            for (int j = 0; j < 1000; j++) {

                pstm.addBatch();

            }

            pstm.executeBatch();

            con.commit();

        }

        con.commit();

        long end = System.currentTimeMillis();

        System.out.println((end-beginTime));

    } catch (ClassNotFoundException e) {

        e.printStackTrace();

    } catch (SQLException e) {

        e.printStackTrace();

    } finally {

        if (rs != null) {

            try {

                rs.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭执行通道

        if (pstm != null) {

            try {

                pstm.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }

        }

        // 关闭连接通道

        try {

            if (con != null && (!con.isClosed())) {

                try {

                    con.close();

                } catch (SQLException e) {

                    e.printStackTrace();

                }

            }

        } catch (SQLException e) {

            e.printStackTrace();

        }

    }

}

通过以上4个方法的对比，我们可以发现，execute方法和commit方法都是很耗时的方法，应该尽量减少使用他们的次数。推荐使用方法1，速度最快。方法4也可以使用，方法2,3不推荐，他们使用的execute和commit次数都过多。

 

2024年大数据最新jdbc插入大量数据时优化处理-最近遇到的解决我一大难题，2024年最新一文全懂
2401_84182906的博客
05-05 692
System.out.println(“pst:”+(endTime-beginTime)/1000+“秒”);System.out.println(“st：”+(endTime-beginTime)/1000+“秒”);全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**conn.setAutoCommit(false);3、使用PreparedStatement + 批处理。性能测试(并发负载压力)测试分析。
大批量插入sqlserver数据
rico_zhou的博客
07-30 9458
大批量插入sqlserver数据 工作需要测试数据，每张表最大一亿条数据，30至60个字段，原本写好了sql脚本直接运行，但是使用insert循环插入实在太慢了，平均只有每秒3000条，照这个速度短期无法完成。 网上百度一番，各种方法都有，选择一种比较简单的，使用jdbc批量插入sqlserver，废话不多说，上代码： import java.sql.Connection; import ...
java使用JDBC向MySQL数据库批次插入10W条数据测试效率
boywcx的博客
02-14 2034
使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（100000），如何提高效率呢？ 在JDBC编程接口中Statement 有两个方法特别值得注意： 通过使用addBatch（）和executeBatch（）这一对方法可以实现批量处理数据。 不过值得注意的是，首先需要在数据库链接中设置手动提交，connection.setAutoCommit(false)，然后在执行S...
JDBC各种插入数据的速度对比
不甘平庸的人
07-12 2988
对于需要批量插入数据库操作JDBC有多重方式，本利从三个角度对Statement和PreparedStatement两种执行方式进行分析，总结较优的方案。 当前实现由如下条件： 　　执行数据库：Mysql 执行数据数量：10万条 执行前提：执行差入数据库钱均需要提供空表，防止数据量大造成的影响 执行方式：Statement和PreparedStatement两种方式
jdbc 批量提交
iteye_14759的博客
09-28 369
场景：大批量新增数据 对比：逐笔提交和批次提交   记录数：2322条记录 测试结果：单笔提交：22938毫秒；批量提交：172毫秒   批量提交相关代码：             connection = dataSource.getConnection();             connection.setAutoCommit(false);             //...
MyBatis批量插入数据优化，一个参数让效率飙升百倍
最新发布
资料免费分享，点击名片
10-31 2301
项目中进行接口压测，发现批量插入的速度有点超出预期，感觉很奇怪，经过定位后发现mybatise-plus批量保存的处理十分缓慢，使用的是saveBatch方法，这点有点想不通。于是就进行了相关内容分析。根据mybatise-plus中saveBatch的方法进行源码查看:继续跟踪逻辑，从代码上看，确实是一条条执行了sqlSession.insert(sqlStatement, entity) 方法。
MySql PreparedStatement executeBatch过慢问题
lgh1117的专栏
05-06 1万+
   在近期工作中，数据库使用到了MySql引擎，在一次数据导入几万条数据，如果一条一条插入，必然性能不佳，顾使用到了JDBC中PreparedStatement的executeBatch方法来批量提交数据，以此提高性能，但结果让我们大吃一惊，性能不升反降，由于服务器在异地，2万条左右的数据，整整提交了20分钟，简直破我的三观，于是就开启了排查之路。   过程中一直怀疑代码有问题，线程死锁（用到了...
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
这是针对MySQL的一种优化策略，`useServerPrepStmts=false`禁用了服务器端的预编译语句，因为对于大批量插入，服务器端预编译可能并不总是有效。而`rewriteBatchedStatements=true`则是让MySQL驱动程序自己重写...
Java JDBC百万级数据MySQL插入实例与优化
这种方式可以减少与数据库的交互次数，显著提高插入速度。例如，作者提到的一个测试案例中，使用循环插入1000条数据并添加随机数值，虽然具体代码没有提供，但可以想象批量插入的性能优势。 批量插入的关键在于合理...
java 批量插入sql_java实现jdbc批量插入数据
weixin_39925031的博客
02-13 1120
这篇文章主要为大家详细介绍了java实现jdbc批量插入数据，三种JDBC批量插入编程方法进行比较，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下文章首先介绍三种JDBC批量插入编程方法，进行比较，具体内容如下JDBC批量插入主要用于数据导入和日志记录因为日志一般都是先写在文件下的等。我用Mysql 5.1.5的JDBC driver 分别对三种比较常用的方法做了测试...
使用jdbc向数据库插入100000条记录
opzoonzhuzhengke的专栏
09-11 1917
分别使用statement，PreparedStatement，及PreparedStatement+批处理3种方式进行测试： //1.使用statement插入100000条记录  Java代码   public void exec(Connection conn){     try {      //开始时间     Long beginTime = Sy
oracle循环插入10000条数据（oracle大批量插入数据）
热门推荐
zxljsbk的博客
09-01 1万+
当我们进行测试数据或者进行某种大数据量的时候，可以用一下语句进行大批量插入， 通过我的测试，10万条数据插入时间为7秒左右，100万条记录插入时间为65秒，200万插入为150秒。 我机器配置为 CPU I5 2450M 内存4G 硬盘 西部数据500G 5400转 操作系统为WIN7 64位 ，数据库为ORACLE 11G 64位 插入测试工具为PL\SQL 9.0 declare i integer; --定义变量 begin i := 1; loop /* 插入数据 */ insert i.
CC00107.bigdatajava——|Java&MySQL.数据库连接池和DBUtils.V16|——|MySQL.v17|批处理插入10000条数据|
yanqi_vip
04-06 124
一、什么是批处理 ### --- 批处理(batch) 操作数据库 ——> 批处理指的是一次操作中执行多条SQL语句，批处理相比于一次一次执行效率会提高很多。 ——> 当向数据库中添加大量的数据时，需要用到批处理。 ~~~ # 举例: 送货员的工作： ——> 未使用批处理的时候，送货员每次只能运送 一件货物...
mysql用时3s插入10万条数据
summer的博客
08-11 1万+
目标效果 实现向数据库中添加如下数据，inside_code的范围为（00001-99999） 代码 package cn.edu.nwsuaf.cie.sheep.utils; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import jav...
大量数据插入的几种方式的速度比较
weixin_34162228的博客
08-15 440
在设计数据库里，我们就应该去数据库设计的性能进行评估。但是在经验不足的情况下，就需要快速建立一个和真实环境相近的数据库，进行性能测试。在这个过程中，遇到的第一个问题就是如何快速地插入千万级数据。 一个新手可能会写出下面的代码。（索引未建）   Insert into dbo.Simple values (@I, RAND() * 2000000000)   然后在外面加个循环。大概测试了...
MyBatis批量插入耗时踩坑经验浅谈
小小程序员
02-08 3705
MyBatis批量插入数据耗时问题浅谈
Oracle executeBatch异常 ArrayIndexOutOfBoundsException
weixin_30343157的博客
03-27 273
使用ojdbc1410.2.0.4 进行批量写入数据到oracle时，写入的字段有140个，每1000条执行一次executeBatch，日志中出现大量异常ArrayIndexOutOfBoundsException信息，具体以下： java.lang.ArrayIndexOutOfBoundsException: -32377 at oracle.jdbc.drive...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值