关于ssh项目大量插入数据的处理

原文自http://vinceyu.iteye.com/blog/1267203

      插入数据是一项很简单的操作，但一旦提高了数据量，就变得不那么容易。  最近项目中使用SSH+oracle数据库，使用C3P0连接池，

要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。 先获取一个sequence，再将数据插入到数据库中。

一测试时间，崩溃了，用时近3分钟（其中获取两个表的sequence很费时），后来想想以前曾经 做过一个类似的项目，使用了主键自增的策略，

就将主键改为自增了。再次测试，还可以，不到3秒。将此代码记录下来，以便日后参考。 顺便说说，可以使用存储过程（尤其是操作多个表插数据），这样效率更快些。

表就省略了，下面是sequence：

 

Java代码  

 

create sequence SEQ_TEST  

minvalue 1  

maxvalue 999999999999999999999999999  

start with 126661  

increment by 1  

cache 20; 

这个就是oracle实现自增的触发器了，TB_ID是表中得主键：

 

Java代码  

 

create or replace trigger TRI_TEST  

  before insert on tb_ticket_log    

  for each row  

declare  

begin  

  select SEQ_TEST.Nextval into:new.TB_ID from dual;  

end TRI_TEST; 

 

下面是数据交换层的代码：

 

public void save(final List list)  

        throws HibernateException, SQLException {  

    this.getHibernateTemplate().execute(new HibernateCallback() {  

        public Object doInHibernate(Session session)  

                throws HibernateException, SQLException {  

  

            Connection conn = session.connection();  

            PreparedStatement ps = null;  

            PreparedStatement _ps = null;  

            String sql = "INSERT INTO TB1(column,...) VALUES (?,...)";  

            String _sql = "INSERT INTO TB2(column,...) VALUES(?,...)";  

  

            ps = conn.prepareStatement(sql);  

            _ps = conn.prepareStatement(_sql);  

  

            for (int i = 0; i < list.size(); i++) {  

                ps.setString(1, "");  

                //ps.set...  

                ps.addBatch();  

  

                _ps.setString(1, "");  

                //_ps.set...  

                _ps.addBatch();  

  

                // 每一万次执行并清除session，否则你懂的。  

                if (i % 10000 == 0) {  

                    ps.executeBatch();  

                    _ps.executeBatch();  

                    session.flush();  

                    session.close();  

                }  

            }  

            ps.executeBatch();  

            _ps.executeBatch();  

            ps.close();  

            _ps.close();  

            session.flush();  

            session.close();  

            return null;  

        }  

    }); 

} 

转载于:https://www.cnblogs.com/mxyhws/p/3758299.html