java使用多线程插入数据库

这篇博客探讨了在单核和多核CPU环境下,使用Java多线程进行数据库插入操作的性能表现。实验结果显示,多核环境下性能提升显著,而在单核机器上,多线程可能不如单线程效率高。

经过测试,单核机器上效果不好,甚至不如单线程效率高。多核CPU效果提升较为明显。

参考博客:http://sky-xin.iteye.com/blog/2305973

JdbcUtils.java

package com.inserttestdata;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.PreparedStatement;  
import java.sql.SQLException;  
import java.util.List;
import java.util.Vector;  
import java.util.ArrayList;
  
public class JdbcUtils {  
    static String driver = "com.mysql.jdbc.Driver";       
    static Vector<Connection> pools = new Vector<Connection>();  
    private static String url_unic = "?useUnicode=true&characterEncoding=utf8";
    
    public static Connection getDBConnection(String url,String dataBase,String user,String pwd){  
        try {  
            //1.加载驱动  
            Class.forName(driver);  
            //2.取得数据库连接  
            String url_total = url+"/"+dataBase+url_unic;
            System.out.println(url_total);
            Connection conn =  DriverManager.getConnection(url_total, user, pwd);  
            return conn;  
        } catch (SQLException e) {  
            e.printStackTrace();  
        } catch (ClassNotFoundException e) {  
            e.printStackTrace();  
        }  
        return null;  
    }  
    
	//关闭数据库连接	
    public static void closeCon(Connection con){
        if(con != null){
        	try{
            con.close();
        	    }catch(Exception e){
        	    	e.printStackTrace();
            	}
        }
    }
          
    public static void insertIntoTable(String url,String user,String pwd,String table,List<String> list,Connection conn,PreparedStatement pstmt,int start,int end){  
  
Java使用多线程技术向数据库插入数据是一种提升数据写入性能的常见做法,尤其是在处理大量数据时。然而,由于数据库连接、事务管理和线程安全等问题,需要合理设计并发策略以确保数据一致性与系统稳定性。 ### 数据库连接管理 多线程环境下,数据库连接应通过连接池进行管理,以避免连接资源的浪费和潜在的连接泄漏。常见的连接池实现包括 HikariCP、C3P0 和 DBCP 等。连接池能够提供线程安全的连接获取与释放机制,确保每个线程都能独立获取连接而不发生冲突。 ```java HikariConfig config = new HikariConfig(); config.setJdbcUrl("jdbc:mysql://localhost:3306/test"); config.setUsername("root"); config.setPassword("password"); config.setMaximumPoolSize(10); HikariDataSource dataSource = new HikariDataSource(config); ``` ### 多线程任务设计 可以使用 `ExecutorService` 来管理线程池,并将插入任务分配给多个线程执行。每个线程应独立获取数据库连接并执行插入操作,避免共享连接导致的并发问题。 ```java ExecutorService executorService = Executors.newFixedThreadPool(5); List<Future<Integer>> futures = new ArrayList<>(); for (List<Data> batch : dataBatches) { Future<Integer> future = executorService.submit(() -> { try (Connection conn = dataSource.getConnection(); PreparedStatement ps = conn.prepareStatement("INSERT INTO table (col1, col2) VALUES (?, ?)")) { for (Data data : batch) { ps.setString(1, data.getValue1()); ps.setString(2, data.getValue2()); ps.addBatch(); } return ps.executeBatch().length; } catch (SQLException e) { throw new RuntimeException("Batch insert failed", e); } }); futures.add(future); } ``` ### 事务控制 若多个线程的操作需要保证事务一致性,应使用分布式事务或全局事务管理机制,如 Atomikos 或 Bitronix。对于非事务性批量插入场景,建议每个线程独立提交事务,减少锁竞争。 ```java conn.setAutoCommit(false); // 开启事务 // 插入操作 conn.commit(); // 提交事务 ``` ### 批量插入优化 为了提高插入效率,可以使用 JDBC 的批处理功能(`addBatch()` 和 `executeBatch()`),减少网络往返次数,从而提升性能。此外,合理设置数据库的 `innodb_buffer_pool_size` 和 `bulk_insert_buffer_size` 参数也有助于提高批量插入效率。 ### 锁与并发控制 在并发插入过程中,若多个线程操作同一表或索引,可能会引发锁竞争问题。可以通过以下方式缓解: - 使用分区表,将数据分布到不同物理存储区域; - 插入前对数据进行排序,减少索引页分裂; - 使用 `INSERT IGNORE` 或 `ON DUPLICATE KEY UPDATE` 避免主键冲突导致的异常。 ### 示例代码 以下是一个完整的多线程批量插入数据库的示例: ```java public class BatchInsert { private static final int THREAD_COUNT = 5; public static void main(String[] args) { HikariDataSource dataSource = setupDataSource(); ExecutorService executorService = Executors.newFixedThreadPool(THREAD_COUNT); List<List<Data>> dataBatches = partitionData(generateData(), THREAD_COUNT); List<Future<Integer>> futures = new ArrayList<>(); for (List<Data> batch : dataBatches) { Future<Integer> future = executorService.submit(() -> { try (Connection conn = dataSource.getConnection(); PreparedStatement ps = conn.prepareStatement("INSERT INTO my_table (col1, col2) VALUES (?, ?)")) { conn.setAutoCommit(false); for (Data data : batch) { ps.setString(1, data.getCol1()); ps.setString(2, data.getCol2()); ps.addBatch(); } int[] result = ps.executeBatch(); conn.commit(); return result.length; } catch (SQLException e) { throw new RuntimeException("Batch insert failed", e); } }); futures.add(future); } // 等待所有线程完成 for (Future<Integer> future : futures) { try { System.out.println("Inserted records: " + future.get()); } catch (InterruptedException | ExecutionException e) { e.printStackTrace(); } } executorService.shutdown(); } // 数据生成、分片等辅助方法略 } ``` ### 注意事项 - 确保数据库表结构和索引设计合理,避免频繁锁表; - 控制线程数量,避免过多线程导致资源争用; - 插入失败时应有重试机制或日志记录; - 考虑使用异步写入或消息队列(如 Kafka、RabbitMQ)进行解耦,提升系统可扩展性。 ###
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值