批量保存 Jpa saveAll() 和 JdbcTemplate batchUpdate()效率对比

本文对比了使用Jpa saveAll()与JdbcTemplate batchUpdate()进行大批量文章分词保存的效率,发现后者效率远高于前者,适用于大规模数据处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

要对两万多篇文章做分词,制作成标签云,所以涉及到批量保存的问题

1、使用Jpa saveAll()方法
<S extends T> List<S> saveAll(Iterable<S> entities);
// 例子:
List<IK> ikList = new ArrayList<>();
ikDao.saveAll(ikList);

效率奇低,按每篇文章大约500~1000个分词计算,保存需要10秒左右。2万多篇,20000*10/3600/24=…

2、使用JdbcTemplate batchUpdate()

效率高出太多了,按每篇文章大约500~1000个分词计算,保存需要1秒左右。

public Integer batchInsertIk(List<IK> ikList) {
	String sql = "insert SWJ_IK1(name,count) values(?,?)";
	jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
		public void setValues(PreparedStatement ps, int i) throws SQLException {
			String name = ikList.get(i).getName();
			int count = ikList.get(i).getCount();
			ps.setString(1, name);
			ps.setInt(2, count);
		}
		public int getBatchSize() {
			return ikList.size();
		}
	});
	return 0;
}

public Integer batchUpdateIk(List<IK> ikList) {
	String sql = "update SWJ_IK1 set count=? where name=?";
	jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
		public void setValues(PreparedStatement ps, int i) throws SQLException {
			int count = ikList.get(i).getCount();
			String name = ikList.get(i).getName();
			ps.setInt(1, count);
			ps.setString(2, name);
		}
		public int getBatchSize() {
			return ikList.size();
		}
	});
	return 0;
}

// 也可以自定义字段对应,但是要注意Object[]中元素的位置
public Integer batchInsertUsers(List<IK> list) {
    String sql = "insert SWJ_IK1(name,count) values(?,?)";
    jdbcTemplate.batchUpdate(sql,setParameters(list));
    return 0;
}
private List<Object[]> setParameters(List<IK> list){
    List<Object[]> parameters = new ArrayList<Object[]>();
    for (IK ik : list) {
        parameters.add(new Object[] { ik.getName(),ik.getCount()});
    }
    return parameters;
}
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值