JDBC+批处理 插入大量数据

本文详细介绍了如何利用JDBC的批处理功能,高效地将大量数据插入到SQL Server和Oracle数据库中,同时探讨了在测试和实际应用中的最佳实践和注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用jdbc向数据库插入100000条记录,分别使用statement,PreparedStatement,及PreparedStatement+批处理3种方式进行测试:

1、使用statement插入100000条记录

public void exec(Connection conn){

 try {

  Long beginTime = System.currentTimeMillis();

  conn.setAutoCommit(false);//设置手动提交

  Statement st = conn.createStatement();

  for(int i=0;i<100000;i++){

   String sql="insert into t1(id) values ("+i+")";

   st.executeUpdate(sql);

  }

  Long endTime = System.currentTimeMillis();

  System.out.println("st:"+(endTime-beginTime)/1000+"秒");//计算时间

  st.close();

  conn.close();

 } catch (SQLException e) {

 // TODO Auto-generated catch block

 e.printStackTrace();

 }

}

2、使用PreparedStatement对象

public void exec2(Connection conn){

 try {

  Long beginTime = System.currentTimeMillis();

  conn.setAutoCommit(false);//手动提交

  PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

  for(int i=0;i<100000;i++){

   pst.setInt(1, i);

   pst.execute();

  }

  conn.commit();

  Long endTime = System.currentTimeMillis();

  System.out.println("pst:"+(endTime-beginTime)/1000+"秒");//计算时间

  pst.close();

  conn.close();

 } catch (SQLException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

 }

}

3、使用PreparedStatement + 批处理

public void exec3(Connection conn){

 try {

  conn.setAutoCommit(false);

  Long beginTime = System.currentTimeMillis();

  PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

  for(int i=1;i<=100000;i++){

   pst.setInt(1, i);

   pst.addBatch();

   if(i%1000==0){//可以设置不同的大小;如50,100,500,1000等等

    pst.executeBatch();

    conn.commit();

    pst.clearBatch();

   }

  }

  Long endTime = System.currentTimeMillis();

  System.out.println("pst+batch:"+(endTime-beginTime)/1000+"秒");

  pst.close();

  conn.close();

 } catch (SQLException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

 }

}

在Oracle 10g中测试,结果:

1、使用statement耗时142秒;

2、使用PreparedStatement耗时56秒;

3、使用PreparedStatement + 批处理耗时:

a.50条插入一次,耗时5秒;

b.100条插入一次,耗时2秒;

c.1000条以上插入一次,耗时1秒;

通过以上可以得出结论,在使用jdbc大批量插入数据时,明显使用第三种方式(PreparedStatement + 批处理)性能更优。

当使用sqlserver 2000进行测试时,第三种方式最少耗时5秒,从这方面可以看出Oracle在处理大量数据时,明显性能更强。

在Java中,批处理插入数据通常是在数据库操作中提高性能的一种方法。批处理可以减少数据库连接的开闭次数,特别是在大量数据需要插入的情况下。以下是使用JDBC (Java Database Connectivity) 进行批插入的一个简单示例: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; public class BatchInsertExample { private static final String DB_URL = "jdbc:mysql://localhost:3306/mydatabase"; private static final String USER = "username"; private static final String PASS = "password"; public static void main(String[] args) { String sql = "INSERT INTO my_table (column1, column2) VALUES (?, ?)"; try { // 1. 加载数据库驱动 Class.forName("com.mysql.cj.jdbc.Driver"); // 2. 建立数据库连接,并获取连接池 Connection conn = DriverManager.getConnection(DB_URL, USER, PASS); // 3. 设置PreparedStatement用于批插入 PreparedStatement pstmt = conn.prepareStatement(sql); pstmt.setBatchSize(10); // 可以设置批插入的数 // 假设data是一个二维数组,包含待插入数据 Object[][] data = {{value1, value2}, {value3, value4}, ...}; for (int i = 0; i < data.length; i += pstmt.getBatchSize()) { // 4. 添加批次数据到PreparedStatement for (int j = 0; j < pstmt.getBatchSize() && i + j < data.length; j++) { pstmt.setString(j + 1, String.valueOf(data[i + j][0])); pstmt.setString(j + 1 + pstmt.getBatchSize(), String.valueOf(data[i + j][1])); // 如果有多个字段 } // 5. 提交批次插入 pstmt.addBatch(); } // 6. 执行所有批次并提交 int[] result = pstmt.executeBatch(); System.out.println("Inserted rows: " + Arrays.toString(result)); // 7. 关闭资源 pstmt.close(); conn.close(); } catch (Exception e) { e.printStackTrace(); } } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值