jdbc批量操作,为了让大量的数据能成功的保存到数据库中,使用批量操作是一个很好的方法。通过connection和PreparedStatement来完成批处理操作。
具体操作如下:
1 首先得到connection对象。
Connection conn=getConnection();
2 得到connection对象原来的自动提交的值
boolean autoCommit=conn.getAutoCommit();
3 设置connection对象的自动提交值为false(false表示不是自动提交,后台的代码需要调用connection对象的commit()方法才会提交)
conn.setAutoCommit(false);
4 设置sql语句的内容
String sql = "INSERT INTO vts_ais_history (id,lat,lot,mmsi,create_date,in_db_date) VALUES(?,?,?,?,?,?)";
5 通过connection对象得到PreparedStatement对象。并将其sql语句作为PreparedStatement对象的参数。
PreparedStatement prest = conn.prepareStatement(sql,ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY);
6 循环来设置sql语句的?值,并加入批处理中,当达到一次性数量时,执行提交操作。
注意以下方法
(
prest.addBatch()方法是添加到批处理中,
prest.executeBatch()方法是执行批处理操作。
conn.commit()方法是进行提交操作
)
int ais_batch_num=100;//每次批处理执行的条数。
for(int i=0;i<aisDataList.size();i++){
String id=xxx;
String lat=xxx;
String lot=xxx;
String id=xxx;
String mmsi=xxx;
java.util.Date updateTime=xxxx;
prest.setString(1, id);
prest.setString(2, lat);
prest.setString(3, lot);
prest.setString(4, mmsi);
prest.setTimestamp(5, new Timestamp(updateTime.getTime())); //年月日时分秒
prest.setTimestamp(6, new Timestamp(updateTime.getTime())); //年月日时分秒
prest.addBatch();//添加批处理
if ((i+1) % ais_batch_num == 0) {//当批处理的数量达到批处理设置的数量就提交到数据库中。
prest.executeBatch();//执行批处理
conn.commit();
}
}
//剩下的
prest.executeBatch();
conn.commit();
7 设置connection对象的自动提交值,为原来的值。
conn.setAutoCommit(autoCommit);
8 关闭PreparedStatement对象和connection对象
prest.close();
conn.close();
具体事例如下:
如:
/**
* Description: <br>
* 批量插入操作
* @author XXX<br>
* @taskId <br>
* @param aisDataList <br>
*/
public static void batchInsert(List<AisInfo> aisDataList){
long time1=System.currentTimeMillis();
try {
//System.out.println(new Date().toLocaleString()+"开始 进行批量插入。共"+aisDataList.size()+"条记录");
AISH_LOG.INFO(new Date().toLocaleString()+"开始 进行批量插入。共"+aisDataList.size()+"条记录");
if(aisDataList!=null&&aisDataList.size()>0){
Connection conn=getConnection();
boolean autoCommit=conn.getAutoCommit();
conn.setAutoCommit(false);
//String sql = "INSERT INTO vts_ais_history (id,lat,lot,mmsi,create_date,in_db_date) VALUES(?,?,?,?,?,?)";
String sql = "INSERT INTO "+AisHistoryFactory.tableName+" ("+AisHistoryFactory.ID+","+AisHistoryFactory.LAT+","+AisHistoryFactory.LOT+","+AisHistoryFactory.MMSI+","+AisHistoryFactory.CREATE_DATE+","+AisHistoryFactory.IN_DB_DATE+") VALUES(?,?,?,?,?,?)";
//System.out.println("插入语句:"+sql);
PreparedStatement prest = conn.prepareStatement(sql,ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY);
AisInfo aisInfo = new AisInfo();
for(int i=0;i<aisDataList.size();i++){
aisInfo=aisDataList.get(i);
String id=UUIDForAis.getUUID();
if(aisInfo==null){
//System.out.println("导入到历史轨迹库中,出错");
AISH_LOG.INFO("导入到历史轨迹库中,出错");
}else{
String lat=aisInfo.getLat();
String lot=aisInfo.getLon();
String mmsi=aisInfo.getMmsi();
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
java.util.Date updateTime=aisInfo.getUpdateTime();
String timeDate_s=null;
try {
timeDate_s=df.format(updateTime);
}
catch (Exception e) {
// TODO Auto-generated catch block
//System.out.println("在插入AisH数据库之前,日期转化出现错误");
AISH_LOG.INFO("在插入AisH数据库之前,日期转化出现错误");
e.printStackTrace();
timeDate_s=null;
}
String timeDate=timeDate_s;
if(timeDate_s!=null){
prest.setString(1, id);
prest.setString(2, lat);
prest.setString(3, lot);
prest.setString(4, mmsi);
prest.setTimestamp(5, new Timestamp(updateTime.getTime()));
prest.setTimestamp(6, new Timestamp(updateTime.getTime()));
prest.addBatch();//添加批处理
}
}
if ((i+1) % ais_batch_num == 0) {
prest.executeBatch();//执行批处理
conn.commit();
//System.out.println(new Date().toLocaleString()+"插入了"+ais_batch_num+"条记录");
AISH_LOG.INFO(new Date().toLocaleString()+"插入了"+ais_batch_num+"条记录");
}
}
//剩下的
prest.executeBatch();
conn.commit();
conn.setAutoCommit(autoCommit);
//System.out.println(new Date().toLocaleString()+"插入了最后剩余条数的");
AISH_LOG.INFO(new Date().toLocaleString()+"插入了最后剩余条数的");
//关闭
prest.close();
conn.close();
}
}
catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long time2=System.currentTimeMillis();
//System.out.println("插入数据,共花费"+(time2-time1)+"ms");
AISH_LOG.INFO("插入数据,共花费"+(time2-time1)+"ms");
}
具体操作如下:
1 首先得到connection对象。
Connection conn=getConnection();
2 得到connection对象原来的自动提交的值
boolean autoCommit=conn.getAutoCommit();
3 设置connection对象的自动提交值为false(false表示不是自动提交,后台的代码需要调用connection对象的commit()方法才会提交)
conn.setAutoCommit(false);
4 设置sql语句的内容
String sql = "INSERT INTO vts_ais_history (id,lat,lot,mmsi,create_date,in_db_date) VALUES(?,?,?,?,?,?)";
5 通过connection对象得到PreparedStatement对象。并将其sql语句作为PreparedStatement对象的参数。
PreparedStatement prest = conn.prepareStatement(sql,ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY);
6 循环来设置sql语句的?值,并加入批处理中,当达到一次性数量时,执行提交操作。
注意以下方法
(
prest.addBatch()方法是添加到批处理中,
prest.executeBatch()方法是执行批处理操作。
conn.commit()方法是进行提交操作
)
int ais_batch_num=100;//每次批处理执行的条数。
for(int i=0;i<aisDataList.size();i++){
String id=xxx;
String lat=xxx;
String lot=xxx;
String id=xxx;
String mmsi=xxx;
java.util.Date updateTime=xxxx;
prest.setString(1, id);
prest.setString(2, lat);
prest.setString(3, lot);
prest.setString(4, mmsi);
prest.setTimestamp(5, new Timestamp(updateTime.getTime())); //年月日时分秒
prest.setTimestamp(6, new Timestamp(updateTime.getTime())); //年月日时分秒
prest.addBatch();//添加批处理
if ((i+1) % ais_batch_num == 0) {//当批处理的数量达到批处理设置的数量就提交到数据库中。
prest.executeBatch();//执行批处理
conn.commit();
}
}
//剩下的
prest.executeBatch();
conn.commit();
7 设置connection对象的自动提交值,为原来的值。
conn.setAutoCommit(autoCommit);
8 关闭PreparedStatement对象和connection对象
prest.close();
conn.close();
具体事例如下:
如:
/**
* Description: <br>
* 批量插入操作
* @author XXX<br>
* @taskId <br>
* @param aisDataList <br>
*/
public static void batchInsert(List<AisInfo> aisDataList){
long time1=System.currentTimeMillis();
try {
//System.out.println(new Date().toLocaleString()+"开始 进行批量插入。共"+aisDataList.size()+"条记录");
AISH_LOG.INFO(new Date().toLocaleString()+"开始 进行批量插入。共"+aisDataList.size()+"条记录");
if(aisDataList!=null&&aisDataList.size()>0){
Connection conn=getConnection();
boolean autoCommit=conn.getAutoCommit();
conn.setAutoCommit(false);
//String sql = "INSERT INTO vts_ais_history (id,lat,lot,mmsi,create_date,in_db_date) VALUES(?,?,?,?,?,?)";
String sql = "INSERT INTO "+AisHistoryFactory.tableName+" ("+AisHistoryFactory.ID+","+AisHistoryFactory.LAT+","+AisHistoryFactory.LOT+","+AisHistoryFactory.MMSI+","+AisHistoryFactory.CREATE_DATE+","+AisHistoryFactory.IN_DB_DATE+") VALUES(?,?,?,?,?,?)";
//System.out.println("插入语句:"+sql);
PreparedStatement prest = conn.prepareStatement(sql,ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY);
AisInfo aisInfo = new AisInfo();
for(int i=0;i<aisDataList.size();i++){
aisInfo=aisDataList.get(i);
String id=UUIDForAis.getUUID();
if(aisInfo==null){
//System.out.println("导入到历史轨迹库中,出错");
AISH_LOG.INFO("导入到历史轨迹库中,出错");
}else{
String lat=aisInfo.getLat();
String lot=aisInfo.getLon();
String mmsi=aisInfo.getMmsi();
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
java.util.Date updateTime=aisInfo.getUpdateTime();
String timeDate_s=null;
try {
timeDate_s=df.format(updateTime);
}
catch (Exception e) {
// TODO Auto-generated catch block
//System.out.println("在插入AisH数据库之前,日期转化出现错误");
AISH_LOG.INFO("在插入AisH数据库之前,日期转化出现错误");
e.printStackTrace();
timeDate_s=null;
}
String timeDate=timeDate_s;
if(timeDate_s!=null){
prest.setString(1, id);
prest.setString(2, lat);
prest.setString(3, lot);
prest.setString(4, mmsi);
prest.setTimestamp(5, new Timestamp(updateTime.getTime()));
prest.setTimestamp(6, new Timestamp(updateTime.getTime()));
prest.addBatch();//添加批处理
}
}
if ((i+1) % ais_batch_num == 0) {
prest.executeBatch();//执行批处理
conn.commit();
//System.out.println(new Date().toLocaleString()+"插入了"+ais_batch_num+"条记录");
AISH_LOG.INFO(new Date().toLocaleString()+"插入了"+ais_batch_num+"条记录");
}
}
//剩下的
prest.executeBatch();
conn.commit();
conn.setAutoCommit(autoCommit);
//System.out.println(new Date().toLocaleString()+"插入了最后剩余条数的");
AISH_LOG.INFO(new Date().toLocaleString()+"插入了最后剩余条数的");
//关闭
prest.close();
conn.close();
}
}
catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long time2=System.currentTimeMillis();
//System.out.println("插入数据,共花费"+(time2-time1)+"ms");
AISH_LOG.INFO("插入数据,共花费"+(time2-time1)+"ms");
}