JdbcTemplate批量更新慢的问题

最新推荐文章于 2025-03-30 16:55:55 发布
最新推荐文章于 2025-03-30 16:55:55 发布
阅读量1.9k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 其他 文章标签： mybatis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhao_java_drao/article/details/129397177
在生产环境中，使用springjdbcTemplate的batchUpdate进行100万条数据的批量更新时，发现更新速度极慢，单线程处理100w条数据耗时近1小时。问题在于批量更新并未真正批量执行，而是退化成了循环执行。通过添加rewriteBatchedStatements=true到JDBCURL，启用MySQL驱动的批量语句重写功能，可以避免这种退化，从而提高更新性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在生产环境, 使用spring jdbcTemplate.batchUpdate 进行百万级批量更新时，批量大小为1000条, 单线程更新，100w条数据更新持续了将近1个小时，每次更新耗时在4~5秒之间。这更新性能实在忍无可忍, 但是更新走的主键索引, 按理来说不应该如此慢. 后来发现并没有真正批量执行，退化成循环执行了。

我用的是：mysql-connector-java-5.1.49.jar驱动

添加rewriteBatchedStatements参数

例：jdbc:mysql://localhost/db_question?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&&rewriteBatchedStatements=true

设置此参数为true, 会让数据库driver重写批量更新语句(批量插入和批量更新).

MySQL会从连接中获取rewriteBatchedStatements参数, 可通过在jdbc url中配置rewriteBatchedStatements=true让它生效, 否则批量更新会退化成每条记录更新执行.

【项目实战】使用JdbcTemplate.batchUpdate执行批量更新操作（批处理）
本本本添哥
07-30 2527
JdbcTemplate，提供了大量的方法来帮助开发者执行JDBC操作。其中，batchUpdate方法是JdbcTemplate中非常重要的一个方法。batchUpdate方法是Spring框架中非常实用的功能之一。batchUpdate方法是JdbcTemplate中用于执行批量更新操作的。batchUpdate方法可以显著提高处理大量数据时的效率。batchUpdate方法可以一次性执行多条SQL语句，以简化数据库操作。
使用JdbcTemplate 结合预编译预计批量插入数据
weixin_43811057的博客
11-30 1232
它通过使用预编译语句（PreparedStatement）和 Spring 的 JdbcTemplate 来实现高效的数据插入操作。saveAll 方法通过合理利用预编译语句和 Spring 的 JdbcTemplate，高效且准确地实现了将一批 LoginLog 类型的数据批量插入到数据库表中的功能，同时还处理了时间戳相关的设置以及异常情况。这种批量插入的方式可以提高数据插入的效率，减少数据库服务器编译 SQL 语句的次数，从而提升整个应用程序与数据库交互的性能。
使用spring jdbc的batchUpdate功能提高性能
kiwi_coder
10-15 3万+
在spring batch中，我们经常使用spring提供的jdbcTemplate进行数据库操作。 假设有一张表People.我们需要插入多条数据。处理的方法有两种： 第一种方法是对每一个数据，都执行一直insert命令： jdbcTemplate.update(INSERT_PEOPLE_QUERY, people.getFirstName(), people.getLa
jdbcTemplate.batchUpdate在批量执行的时候，性能差没有效果，看看怎么解决的。
热门推荐
老农民挖数据
07-11 5万+
我用的阿里druid数据库连接池，创建jdbctemplate在执行insert 15000条数据时 ，我发现还是30条，20条，35条这样提交。 完全没有batch的效果。 查看数据库，5秒才267条。在等20秒看，才5130条。说明这个批量执行，没有生效。================================1. 我们再来，我改造了参数。15000条，数据5秒就搞定。2.、再试一次 ...
掌握Java数据库连接技术：JDBC的批量更新与存储过程
最新发布
weixin_28931449的博客
03-30 365
本文详细介绍了Java数据库连接技术（JDBC）中的批量更新和存储过程的使用方法。通过实例代码展示了批量更新如何减少网络开销，提高应用程序性能，并讨论了批量更新中可能遇到的异常处理。同时，文章也介绍了PreparedStatement和CallableStatement的使用，以及如何通过参数化查询提高SQL语句的安全性和效率，包括如何处理二进制数据和大对象。最后，文章探讨了参数的命名引用和参数元数据的使用，以及JDBC数据类型的映射。
MySQL为什么Spring的jdbcTemplate.batchUpdate()这么慢？
LoveSummer
11-14 3271
Spring 的 JdbcTemplate.batchUpdate() 本身并不会影响性能，实际上 SQL 语句和 MySQL 数据库的处理方式才是决定因素。要改善性能，可以使用 JDBC 的批处理来批量执行 SQL 语句，或使用 MySQL 的多值插入来优化批处理。
批量保存 Jpa saveAll() 和 JdbcTemplate batchUpdate()效率对比
alex_fung的博客
10-11 2万+
要对两万多篇文章做分词，制作成标签云，所以涉及到批量保存的问题 1、使用Jpa saveAll()方法 <S extends T> List<S> saveAll(Iterable<S> entities); // 例子： List<IK> ikList = new ArrayList<&
sql语句导致jdbctemplate.batchupdate分批插入缓慢，rewriteBatchedStatements也没有用
qq_36635569的博客
06-03 1904
发现了猫腻，这里的插入语句values里面又用了select max()去查询最大主键，导致每次插入都会查询主键，于是我把这里的select max去掉，发现批量插入的速度就很快了，5万数据插入只花了几秒钟。我最近项目中遇到一个jdbctemplate的batchupdate方法批量插入的问题，5万条数据分批插入，每次批量插入1000条，结果半个小时数据还没插完。经过断点调试，发现执行了第二个批量插入，但是速度还是出奇的慢，于是我开始怀疑是不是插入的sql语句有什么问题。
Spring的JDBCTemplate批量更新的性能问题
birdben的博客
07-03 1万+
Spring的JDBCTemplate批量更新的性能问题
Spring JdbcTemplate批量更新速度很慢的问题
Difffate的技术随笔
05-06 1万+
由于一次要执行很多条插入语句（5w条），通常通过mysql写原生的插入语句会有类似的格式： insert into TableAAA(f1,f2) values (f11v,f21v),(f12v,f22v)... 执行速度上是没有问题，大概5,6秒。在用JdbcTemplate的时候，就是用batchUpdate方法来写批量执行的语句： String sql = "insert
为什么我这条SQL执行那么慢？
3y
04-17 514
本文公众号来源：苦逼的码农作者：帅地一条SQL执行语句很慢有什么原因？说实话，这个问题可以涉及到MySQL的很多核心知识，可以扯出一大堆，就像要考你计算机网...
spring的jdbcTemplate.batchUpdate（）执行慢
_itors 的博客
01-16 7968
关于jdbcTemplate.batchUpdate（）执行慢的原因 公司有个需求，要对mysql生产库中的400W+数据进行洗库，做批量update操作 。于是果断选择了jdbcTemplate.batchUpdate（）。测试库也就2000多条记录。然后迫不及待的开始码了 上代码吧 // 数据库连接 # jdbc spring.datasource.type=com.alibaba.druid...
springJdbc JdbcTemplate 批处理效率低下问题
weixin_43751248的博客
08-06 513
spring jdbcTemplate 批处理效率慢问题
jdbcTemplate批量执行速度慢
春赏百花冬观雪的博客
08-15 1292
定位了好久，发现是在jdbc组装sql，执行pss.setValues(ps, i);这块耗时最多，时间花在了字段类型的判断上了(100多个字段)。 做了大量的判断，对比 在网上看了一篇文章，调用接口时把argTypes带上。 参数sql语句将sql改为insert into table values(x,x,x,…),不要写成insert into table(a,b,c,d…) value(x,x,x,…) 可以参考这个:https://docs.spring.io/spring/docs/3
掌握Spring JdbcTemplate批量更新操作示例解析
这个示例可能是一个完整的Java类文件，它可能通过一系列的代码演示如何使用Spring JdbcTemplate来执行批量更新操作。这包括配置JdbcTemplate实例、准备SQL语句、以及执行批处理更新。 通过阅读并分析该文件内容，...
java 批量更新很慢_java – 为什么Spring的jdbcTemplate.batchUpdate()这么慢？
weixin_39594191的博客
02-27 1162
我正在尝试找到更快的批量插入方法.我试着用jdbcTemplate.update(String sql)插入几个批次,其中sql由StringBuilder构建,看起来像：INSERT INTO TABLE(x, y, i) VALUES(1,2,3), (1,2,3), ... , (1,2,3)批量大小正好是1000.我插入了近100批.我使用StopWatch检查了时间并找出了插入时间：mi...
mysql jdbc查询慢 spring_为什么Spring的jdbcTemplate.batchUpdate（）这么慢？
weixin_39824834的博客
02-17 1280
8 个答案:答案 0 :(得分：12)JDBC连接URL中的这些参数可以对批量语句的速度产生很大影响 - 根据我的经验，它们可以加快速度：useServerPrepStmts =假安培; rewriteBatchedStatements =真答案 1 :(得分：10)我也遇到了与Spring JDBC模板相同的问题。可能在Spring Batch中，语句在每个插件或块上执行并提交，这会减慢速度。我...
面试：数据量很大，分页查询很慢，有什么优化方案？
程序猿DD
09-19 978
点击上方蓝色“程序猿DD”，选择“设为星标”回复“资源”获取独家整理的学习资料！来源 |cnblogs.com/youyoui/p/7851007.html当需要从数据库查询的表有上万...
关于使用jdbcTemplate的PreparedStatement进行批量插入速度缓慢问题记录
weixin_40580131的博客
05-06 5517
最近公司项目使用jdbcTemplate的batchupdate方法进行批量数据插入，但是效率很慢，上源码 String sqlStr = "INSERT INTO " + tableName + "(xh,timetemp,row_num) VALUES(?,?,?)"; List<Object[]> batchArgs = new ArrayList<>(); log.info("开始循环赋值数据。。。"); for (BiTe
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值