向Mysql数据库插入五万条记录(批处理)

本文通过示例对比了使用批处理和预编译SQL与普通方式向数据库插入大量数据的效率。展示了如何利用Java JDBC进行批处理操作,并通过每1000条记录执行一次批处理来显著提高数据插入速度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

当向数据库中添加大量的数据时,这是需要用到批处理。不用批处理时,插入的效率特别的慢。这里用到了批处理和预编译sql两个联合,这样的效率会更高


package com.an.jdbc.exer;

import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.Test;

import com.an.jdbc.utils.JDBCUtils;

public class TestBatch {
	
	/*
	 * 不是用批处理向数据库插入50000条记录,特别的慢
	 */
	@Test
	public void test() throws Exception{
			String sql = "insert into admin values(null,?,?)";
			Connection connection = JDBCUtils.getConnection();
			PreparedStatement ps = connection.prepareStatement(sql);
			for(int i=0;i<50000;i++){
				ps.setString(1, "an"+i);
				ps.setString(2, "0000");
				ps.executeUpdate();
			}
			JDBCUtils.closeConnection(null, ps, connection);
	}
	
	/**
	 * 用批处理向数据库添加5000条数据
	 * @throws Exception
	 */
	@Test
	public void test1() throws Exception{
			String sql = "insert into admin values(null,?,?)";
			Connection connection = JDBCUtils.getConnection();
			PreparedStatement ps = connection.prepareStatement(sql);
			for(int i=1;i<=50000;i++){
				ps.setString(1, "an"+i);
				ps.setString(2, "0000");
				ps.addBatch();//将sql语句添加到批处理包(将苹果装到框中)
				if(i % 1000 == 0){
					ps.executeBatch();//执行批处理包的所有语句(将框运到教室)
					ps.clearBatch();//清空批处理包的sql语句(卸苹果)
				}
			}
			JDBCUtils.closeConnection(null, ps, connection);
	}
	
}


Java向MySQL批量存储数据可以使用批处理(batch)的方式进行,这样可以大大提高插入数据的效率。下面是一个简单的示例代码: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class BatchInsertDemo { public static void main(String[] args) { String url = "jdbc:mysql://localhost:3306/test"; String username = "root"; String password = "123456"; try { Class.forName("com.mysql.jdbc.Driver"); Connection conn = DriverManager.getConnection(url, username, password); conn.setAutoCommit(false);//关闭自动提交事务 PreparedStatement pstmt = conn.prepareStatement("insert into user(name, age) values (?, ?)"); for (int i = 1; i <= 10000; i++) { pstmt.setString(1, "user" + i); pstmt.setInt(2, i % 100); pstmt.addBatch();//添加到批处理中 } pstmt.executeBatch();//批量执行 conn.commit();//提交事务 pstmt.close(); conn.close(); } catch (ClassNotFoundException | SQLException e) { e.printStackTrace(); } } } ``` 在上面的示例中,我们创建了一个名为`BatchInsertDemo`的类,其中定义了一个`main()`方法。在`main()`方法中,我们首先定义了连接MySQL的URL、用户名和密码,然后使用`Class.forName()`方法加载了MySQL的驱动程序。接下来,我们通过`DriverManager.getConnection()`方法获得了与MySQL数据库的连接,并将自动提交事务关闭。 然后,我们使用`PreparedStatement`对象执行了一插入语句,并使用`addBatch()`方法将其添加到批处理中。在循环结束后,我们使用`executeBatch()`方法批量执行所有的插入语句,并将事务提交。最后,我们关闭了`PreparedStatement`对象和数据库连接。 需要注意的是,批量插入数据时,每次插入的数据量不宜过大,否则可能会导致内存溢出或性能下降。一般来说,每批次插入的数据量在几千到一万之间比较合适。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值