hibernate,JDBC批量更新优化

本文介绍了一种批量数据插入的方法,通过分批处理和缓存清理提高数据库操作效率,并对比了使用Hibernate API与JDBC API的不同实现方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

项目里要完成个补录数据的功能。因为历史数据太多,一下要保存大量数据到数据库。没做二级缓存清理的时候,跑着跑着系统就down掉了。只有做了下优化,效率提高了很多。

1,分次把一定数量的更新数据保存到list里,传递到DAO层

2,在DAO层要及时清除缓存,即每插入一定量的数据后及时把它们从内部缓存中清除掉,释放占用的内存。

// 每处理50条清空缓存
session.save(myObject);
if (i/50 == 0) {
    session.flush();
    session.clear();
}

// 在我的项目中写法如下:
if (i/50 == 0) {
    this.getHibernateTemplate().flush();
    this.getHibernateTemplate().clear();
}

3,还有效率更高的做法是绕开Hibernate API,使用JDBC API来做批量插入

  setAutoCommit 手动提交事务

  addBatch() 添加处理语句

  executeBatch() 一次提交sql语句

String insertSql = "insert into user(name,address) values(?,?)";
Session session = getHibernateTemplate().getSessionFactory().openSession();
Connection conn = session.connection();
PrepareStatement stmt = conn.prepareStatement(insertSql);

// 方式1:自动提交
conn.setAutoCommit(true);
for(int i = 0; i++; i<10000) {
    stmt.setString(1, "testName");
    stmt.setString(2, "testAddress");
    stmt.execute();
}

// 方式2:批量提交
conn.setAutoCommit(false);
for(int i = 0; i++; i<10000) {
    stmt.setString(1, "testName");
    stmt.setString(2, "testAddress");
    stmt.addBatch();
    if (i % 100 == 0) {
        stmt.executeBatch();
        conn.commit();
    }
}
stmt.executeBatch();
conn.commit();

// 关闭session
session.close();

 

 

 

转载于:https://www.cnblogs.com/cheeper/archive/2013/05/29/3105980.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值