使用Spring Boot的ThreadPoolTaskExecutor插入大量数据实测

最新推荐文章于 2024-07-09 22:46:40 发布

YmsNet

最新推荐文章于 2024-07-09 22:46:40 发布

阅读量362

点赞数

CC 4.0 BY-SA版权

文章标签： spring boot 后端 java Spring_Boot

本文链接：https://blog.youkuaiyun.com/YmsNet/article/details/133671946

Spring_Boot 专栏收录该内容

39 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了在Spring Boot应用中如何利用ThreadPoolTaskExecutor进行数据批量插入的步骤，包括配置线程池、创建数据实体、数据访问层、数据插入任务，以及通过控制器调用任务并运行应用。

在开发应用程序时，经常会遇到需要批量插入大量数据的情况，而高效地处理这样的任务对于应用程序的性能和响应时间至关重要。在Spring Boot中，我们可以使用ThreadPoolTaskExecutor来管理线程池，并通过多线程的方式批量插入大量数据。

1. 引入依赖

首先，我们需要在Spring Boot项目的pom.xml文件中添加以下依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

YmsNet

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

性能爆表：Spring Boot利用ThreadPoolTaskExecutor批量插入百万级数据实测！

墨夶的博客

07-31

682

摘要：本文探讨了利用Spring Boot的ThreadPoolTaskExecutor实现海量数据高效插入的方案。通过多线程并发与批量提交技术，解决了单线程插入的性能瓶颈。文章详细解析了线程池配置（核心参数、队列容量、拒绝策略）、MyBatis Plus批量插入实现，并给出200万条数据的实测对比：多线程（30线程）耗时仅1.67分钟，吞吐量达19.3万条/秒，较单线程提升近3.4倍。优化建议包括动态调整线程数（推荐CPU核心数×2+1）、控制批量提交大小（100-500条/批），为高并发数据插入提供可

1.67分钟 vs 5.75分钟！SpringBoot ThreadPoolTaskExecutor百万级数据插入实测，性能提升308%的秘密是什么？

1 条评论

优快云-Ada助手 2023.11.26
非常棒的博文！你对如何使用Spring Boot的ThreadPoolTaskExecutor来处理大量数据插入做了很好的总结和实测。希望你能继续分享关于Spring Boot和多线程处理的经验和见解。另外，如果你对数据库优化和数据批处理有更深入的了解，也可以分享一些相关的知识，比如数据库索引的优化、事务管理等方面的内容，这些都能够进一步完善你的博文，也能够帮助更多的读者。期待看到你更多的精彩内容！如何写出更高质量的博客，请看该博主的分享：https://blog.youkuaiyun.com/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2

SpringBoot 利用 ThreadPoolTaskExecutor 批量插入数十万条数据

木子Teng的博客

01-13

2232

在批处理插入数据时，如果在单线程环境下是非常耗时的，本篇文章将采用单线程和多线程进行对比，利用。从上述的结果可以看出，使用多线程后，批处理插入大量数据的耗时大大减少，由此可见多线程的好处。进行多线程批处理插入65w数据，然后和单线程进行对比，最终得到性能优化。

Spring Boot 配置线程池使用多线程插入数据

好好学java

04-05

2068

点击上方好好学java，选择星标公众号重磅资讯、干货，第一时间送达今日推荐：牛人 20000 字的 Spring Cloud 总结，太硬核了~个人原创+1博客：点击前往，查...

springboot利用ThreadPoolTaskExecutor多线程批量插入百万级数据

热门推荐

阿啄debugIT

12-25

2万+

开发目的：提高百万级数据插入效率。采取方案：利用ThreadPoolTaskExecutor多线程批量插入。采用技术：springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。具体细节：第一步： application-dev.properties添加...

利用ThreadPoolTaskExecutor多线程大数据插入

m0_58709145的博客

02-15

770

开发目的大批量数据导入到mysql数据库。

【Java进阶】线程池之参数介绍、拒绝策略、有限队列线程池，使用ThreadPoolTaskExecutor进行介绍

卡萨的博客

11-20

2851

@Configuration public class ThreadPoolConfig { @Bean(name = "testThreadPool") public ThreadPoolTaskExecutor createPool(){ ThreadPoolTaskExecutor poolTaskExecutor = new ThreadPoolTaskExecutor(); //线程池所使用的缓冲队列 poolTaskExecut.

Spring Boot 中利用 ThreadPoolTaskExecutor 批量插入百万级数据实测！

m0_71777195的博客

11-09

1523

通过以上测试案列，同样是导入2000003 条数据，多线程耗时1.67分钟，单线程耗时5.75分钟。根据id分组，查看是否有id重复的数据，通过sql语句检查，没有发现重复入库的问题。多线程测试 2000003 耗时如下：耗时1.67分钟。单线程测试2000003 耗时如下：耗时5.75分钟。模拟2000003 条数据进行测试。通过sql语句查询，多线程录入数据完整。CPU核心数量*2 +2 个线程。创建多线程批量插入具体业务方法。提高百万级数据插入效率。创建异步线程业务类。

SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！

06-16

当需要处理大量数据，特别是涉及到数据库的插入操作时，使用线程池可以提高性能，因为它可以并发地执行多个插入操作，减少阻塞。批量插入百万级数据时，你可以按照以下步骤操作： 1. 配置ThreadPoolTaskExecutor...

springBoot实现多线程数据插入数据库

weixin_42812176的博客

11-06

7146

网上很多博友都实现了springboot项目的大量数据异步执行插入数据库，这样可以实现先返回给页面执行完成的结果，其实多线程还没有执行完成，现在下面着重介绍一下使用多线程实时导入数据库（阻塞式线程）。 1、线程池的创建 @Configuration public class ThreadConfig {//implements AsyncConfigurer { @Bean public Executor getAsyncExecutor() { ThreadPoolTaskExecutor executo

springboot多数据源即分布式事务解决方案，添加对多线程的支持

10-17

实现系统对多数据源的操作。实现系统对多数据源的分布式事务管理，包括事务的提交和回滚。

利用spring的线程池ThreadPoolTaskExecutor对多个库进行数据归档

wangzuojia001的博客

01-16

2690

使用多线程ThreadPoolTaskExecutor对多个数据库中的数据进行数据归档

Spring Boot分段处理List集合多线程批量插入数据

涛哥是个大帅比

04-22

2301

Spring Boot分段处理List集合多线程批量插入数据

JUC深入浅出，第二篇！！！

weixin_46455069的博客

09-10

602

1、读写锁 ReadWriteLock 2、阻塞队列 3、线程池（重点） 4、 5、 6、 7、 8、 9、 10、 11、 12、 1、读写锁 ReadWriteLock 独占锁（写锁）一次只能被一个线程占有共享锁（读锁）多个线程可以同时占有读-读：可以共享读-写：不能共享写-写：不能共享读写锁 :ReadWriteLock new ReentrantReadWriteLock(); 这个锁这是时候我们需要添加一个锁： public class ReadWriteDemo {

Spring Boot使用线程池处理上万条数据插入功能

weixin_46119090的博客

11-06

1259

Spring Boot使用线程池处理上万条数据插入功能

【Spring】SpringBoot整合ShardingSphere并实现多线程分批插入10000条数据（进行分库分表操作）。

qq_61024956的博客

04-03

4670

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。

SpringBoot使用多线程实现批量插入

季鸢的博客

07-09

801

SpringBoot使用多线程实现百万数据快速插入

SpringBoot利用线程池ThreadPoolTaskExecutor批量插入百万级数据

Strive279的博客

12-19

485

SpringBoot利用线程池ThreadPoolTaskExecutor批量插入百万级数据

springboot2 多线程写入数据_Spring-Boot中如何使用多线程处理任务

weixin_39605840的博客

12-20

422

看到这个标题，相信不少人会感到疑惑，回忆你们自己的场景会发现，在Spring的项目中很少有使用多线程处理任务的，没错，大多数时候我们都是使用Spring MVC开发的web项目，默认的Controller，Service，Dao组件的作用域都是单实例，无状态，然后被并发多线程调用，那么如果我想使用多线程处理任务，该如何做呢？比如如下场景：使用spring-boot开发一个监控的项目，每个被监控的业...

Spring Boot邮箱字段数据校验使用@Validated注解方法

使用Spring Boot结合@Validated注解进行邮箱字段的数据校验是一种简单有效的手段，它可以帮助我们确保用户输入的数据符合预期的要求。通过声明校验规则并触发校验，我们可以灵活地对数据进行校验，同时，Spring Boot...