上亿级数据量-JDBC插入数据库

转载：http://blog.youkuaiyun.com/jzshmyt/article/details/7255761

[java] view plain copy

1.    
2. package com.database;  
3.   
4. import java.sql.Connection;  
5. import java.sql.DriverManager;  
6. import java.sql.PreparedStatement;  
7. import java.sql.SQLException;  
8. /** 
9.  * 将亿级数据量,通过JDBC方式,插入到数据库中.关键技术说明 
10.  *   一、为了避免内存溢出问题,每100万条重新建立一次jdbc连接. 
11.  *   二、将连接属性设置为不自动提交,每5万条批量执行一次提交. 
12.  * @author Administrator 
13.  */  
14. public class Import {  
15.     private static final String JDBC_URL = "jdbc:oracle:thin:@localhost:1521:orcl";  
16.     private static final String JDBC_USER = "ttt";  
17.     private static final String JDBC_PASSWORD = "pw123456";  
18.     private static final String JDBC_SQL = "insert into tb_test (col1,col2) values (?,?)";  
19.       
20.     public static void main(String[] args) throws Exception {  
21.         Class.forName("oracle.jdbc.driver.OracleDriver");  
22.         exe(100000005);//1亿数据量测试通过  
23.     }  
24.       
25.     public static void exe(int sl) throws SQLException{  
26.         int SIZE = 1000000;//每批的记录数(建议值100万)  
27.         int page = sl/SIZE;//计算批数  
28.           
29.         for (int i = 0; i < page; i++) {//批量执行  
30.             execute(i*SIZE,(i+1)*SIZE);  
31.         }  
32.         if(sl%SIZE != 0){  
33.             execute(page*SIZE,sl);  
34.         }  
35.     }  
36.       
37.     private static void execute(int begin, int end) throws SQLException {  
38.         Connection conn = null;  
39.         PreparedStatement pst= null;  
40.         try {  
41.             conn = DriverManager.getConnection(JDBC_URL, JDBC_USER,JDBC_PASSWORD);  
42.             System.out.println("重新打开连接 :" + begin + " - " + end);  
43.               
44.             conn.setAutoCommit(false);// 设置不自动提交  
45.             pst = conn.prepareStatement(JDBC_SQL);  
46.               
47.             int recordNum = 0; // 计数器  
48.             int commit_size = 50000;// 每次提交记录数5万  
49.             for (int i = begin; i < end; i++) {  
50.                 recordNum++; // 计数  
51.                 pst.setString(1, "n" + i);  
52.                 pst.setString(2, "v" + i);  
53.                 pst.addBatch();  
54.                 if (recordNum % commit_size == 0) {  
55.                     pst.executeBatch();  
56.                     conn.commit();  
57.                     System.out.println("提交:" + i);  
58.                     conn.setAutoCommit(false);  
59.                     pst = conn.prepareStatement(JDBC_SQL);  
60.                 }  
61.             }  
62.             if (recordNum % commit_size != 0) {  
63.                 pst.executeBatch();  
64.                 conn.commit();  
65.                 System.out.println("提交:" + recordNum);  
66.             }  
67.         } catch (SQLException e) {  
68.             e.printStackTrace();  
69.         } finally {  
70.             try {  
71.                 if (pst != null) pst.close();  
72.             } catch (SQLException e) {  
73.                 e.printStackTrace();  
74.             }finally{  
75.                 try{  
76.                     if (conn != null) conn.close();  
77.                     System.out.println("成功关闭连接！");  
78.                 } catch (SQLException e) {  
79.                     e.printStackTrace();  
80.                 }  
81.             }  
82.         }  
83.     }  
84.   
85. }