Springboot自定义ThreadPoolTaskExecutor线程池多线程并发执行异步方法

第一次使用ThreadPoolTaskExecutor实现线程池的经历,反复修改了多次代码才正常使用 在一个向第三方平台推送消息的场景中,为了提高程序的执行效率,每次发送消息,都创建一个新的线程来完成发送消息的任务,为了提供线程的使用性能,我选择了ThreadPoolTaskExecutor线程池,结果在使用的过程中,出现了较多的问题,这里记录一下避免以后再出现类似的错误(这些错误是不应该出现的,还是对ThreadPoolTaskExecutor使用不熟悉造成的)。 阅读详情

1. 背景

当前因为工作需求,要发送大量Http请求,经过实践遍历发送需要6小时才能发送完毕,如果单线程发送请求会导致主线程阻塞。就会存在以下问题:

  1. 前端用户等待响应时间过长,无法进行下一步操作,不利于用户操作系统
  2. 响应时间过长超过Tomcat服务器会话时间,导致前后端的请求重新连接,这会出现抛出java.io.IOException: 你的主机中的软件中止了一个已建立的连接;重而终止了还未完成的Http发送任务
  3. 如果主线程其他任务如:定时Excel数据批量导入,文件上传等等;很容易因为文件格式问题,导致抛出异常,从而把Http的任务中断
  4. 夜长梦多,长时间发送请求,无法判断是否执行完毕;如果抛出异常,或是需要重启服务,无法判断执行到什么阶段,定位重发位置需要耗费很多时间精力,得不偿失,只能全部重发(一样面临以上问题)。

2. 解决思路

经过考虑可以使用多线程来解决问题,主线程负责开子线程处理请求。其中根据业务需要可以将多线程分为以下2类

  • 任务类型1. 开完子线程就返回响应用户的请求。
  • 任务类型2. 开完子线程后等待子线程响应结果后,再响应用户请求
    在这里插入图片描述

在这里插入图片描述


3. 具体实现

Springboot中已经有集成的ThreadPoolTaskExecutor线程池可以供调用(注意区分Java自带的ThreadPoolExecutor),虽然2种线程池的提供的具体方法不一定一样,但是调度线程过程原理是通用,下面贴出ThreadPoolExecutor的调度线程过程作为创建ThreadPoolTaskExecutor的参考。

在这里插入图片描述

4. 开始编写代码

@EnableAsync 注解启用Spring 异步方法执行功能

当前的线程池 :

  • 核心线程池(CorePool) : 10 ;
  • 最大线程池(MaxPool) : 20 ;
  • 队列长度(QueueCapacity) : 200;
  • 拒绝策略(RejectedExecutionHandler) : CallerRunsPolicy

表示:

  • 如果 请求创建的线程数 <= 10 + 200, 只会使用核心线程池的10个线程执行任务;
  • 如果 10 + 200 < 请求创建的线程数 , 创建额外的10个线线程处理任务, 线程池中同时拥有20个线程处理任务

    使用CallerRunsPolicy策略,主线程还没将 (请求创建的线程数 - 10 + 200 ) 的子线程创建完毕, 主线程处于阻塞状态,需要将所有子线程创建完毕才可以返回响应,即使任务是任务类型1,它的响应时间也会无限接近于 任务类型2;根据业务需求可以通过设置更长的队列长度来解决

    线程处理完任务后,(最大线程池 - 核心线程池) > 0 && 经过60s空闲时间,就会回收除核心线程池外的空闲线程
@EnableAsync //注解启用Spring 异步方法执行功能
@Configuration
public class AsyncTaskConfig {

    @Bean("AsyncTaskThreadPool")
    public Executor threadPoolExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        // 核心线程数:线程池创建时候初始化的线程数
        executor.setCorePoolSize(10);
        // 最大线程数:线程池最大的线程数,只有在缓冲队列满了之后才会申请超过核心线程数的线程
        executor.setMaxPoolSize(20);
        // 缓冲队列:用来缓冲执行任务的队列
        executor.setQueueCapacity(200);
        // 允许线程的空闲时间60秒:当超过了核心线程之外的线程在空闲时间到达之后会被销毁
        executor.setKeepAliveSeconds(60);
        // 线程池名的前缀:设置好了之后可以方便我们定位处理任务所在的线程池
        executor.setThreadNamePrefix("AsyncTaskThreadPool-");
        // 缓冲队列满了之后的拒绝策略:由调用线程处理(一般是主线程)
        //AbortPolicy:丢弃任务并抛出 RejectedExecutionException 异常
        //DiscardPolicy:丢弃任务,但是不抛出异常。可能导致无法发现系统的异常状态
        //DiscardOldestPolicy:丢弃队列最前面的任务,然后重新提交被拒绝的任务
        //CallerRunsPolicy:不丢弃任务 由调用线程处理该任务
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        // 线程池中corePoolSize线程空闲时间达到keepAliveTime也将关闭
        executor.setAllowCoreThreadTimeOut(true);
        executor.initialize();
        return executor;
    }

}


@Async 根据添加到自定义线程池中执行

@Component
public class AsyncRequestComponent {

    @Async("AsyncTaskThreadPool")
    public CompletableFuture<String> mockHttpRequest(String url) throws InterruptedException, IOException {
        String threadName = Thread.currentThread().getName();
        System.out.println("线程" + threadName + "开始调用,输出:" + url);
        String result = "";
        // HttpClient RestTemplate Feign or 其他Http请求框架
        // 或者其他需要 异步并发 的 逻辑代码 
        // Thread.sleep(50);
        result = HttpClientUtil.get(url);

        System.out.println("线程" + threadName + "调用结束,输出:" + url);
        return CompletableFuture.completedFuture(result);
    }
}


@Slf4j
@SpringBootTest
class DemoTestApplicationTests {
    @Autowired
    private AsyncRequestComponent asyncRequestComponent;

     @Test
    void testAsyncThreadPerformance() throws InterruptedException, ExecutionException {

        long start = System.currentTimeMillis();
        List<CompletableFuture<String>> list = new ArrayList<>();
        // 通过修改循环次数来查看 任务数<缓存队列+核心线程 和 任务数>缓存队列+核心线程 的主线程花费时间
        // 如果 任务数<缓存队列+核心线程 主线程不需要等待
        // 如果 任务数>缓存队列+核心线程 主线程需要等待 因为后面任务还没创建成功
        for(int i=0 ;i < 2000; i++){
            CompletableFuture<String> future= asyncRequestComponent.mockHttpRequest(i);
            list.add(future);
        }

        // 任务类型1 主线程不需要等待所有子线程执行完毕,将下面的for循环注释
        // 任务类型2 主线程需要等待所有子线程执行完毕:需要遍历future执行get方法等待子线程执行完毕
        for(Future<?> future : list){
            while (true) {//CPU高速轮询:每个future都并发轮循,判断完成状态然后获取结果,这一行,是本实现方案的精髓所在。即有10个future在高速轮询,完成一个future的获取结果,就关闭一个轮询
                if (future.isDone() && !future.isCancelled()) { //获取future成功完成状态,如果想要限制每个任务的超时时间,取消本行的状态判断+future.get(1000*1, TimeUnit.MILLISECONDS)+catch超时异常使用即可。
                    String result = (String) future.get();//获取结果
                    System.out.println("任务i=" + result + "获取完成!" + new Date());
                    break;//当前future获取结果完毕,跳出while
                } else {
                    Thread.sleep(1);//每次轮询休息1毫秒(CPU纳秒级),避免CPU高速轮循耗空CPU---》新手别忘记这个
                }
            }
        }
        long end = System.currentTimeMillis();
        System.out.println("主线程花费时间:"+(end-start));
    }

}


5. 结论

  • 如果希望主线程永远不会阻塞,不设置队列长度,因为默认长度设置为Integer.MAX_VALUE; 因为队列长度很长,不会额外再创建线程处理了,所以核心线程(CorePool) = 最大线程(MaxPool)
  • 如果本身业务用户可以容忍一定范围的响应延迟,这就需要根据实际出发,统计子线程任务的平均执行实际,判断核心线程数、最大线程数、缓冲队列的容量



题外话:如何创建线程池

CPU密集型:对于 CPU 密集型计算,多线程本质上是提升多核 CPU 的利用率,所以对于一个 8 核的 CPU,每个核一个线程,理论上创建 8 个线程就就可以;理论公式:最大线程数 = CPU核数 + 1

IO 密集型任务: IO 密集型任务最大线程数一般会大于 CPU 核心数很多倍,因为 IO 读写速度相比于 CPU 的速度而言是比较慢的,如果我们设置过少的线程数,就可能导致 CPU 资源的浪费。理论公式 : 最大线程数 = 最大线程数 = CPU核心数 / (1 - IO_TIME/REQUEST_TIME) ,比如在某个请求中,请求时长为10秒,调用IO时间为8秒,这时我们阻塞占百分比就是80%,有效利用CPU占比就是20%,假设是八核CPU,我们线程数就是8 / (1 - 80%) = 8 / 0.2 = 40个

最大线程数:

  • CPU密集型:CPU 核心数 + 1
  • IO密集型:CPU 核心数 / (1 - IO_TIME/REQUEST_TIME)

核心线程数: 核心线程数 = 最大线程数 * 20%


获取CPU核心数命令:

window - Java : Runtime.getRuntime().availableProcessors()//获取逻辑核心数,如6核心12线程,那么返回的是12

linux - 物理CPU: cat /proc/cpuinfo| grep “physical id”| sort| uniq| wc -l

linux - 物理CPU中core: cat /proc/cpuinfo| grep “cpu cores”| uniq

linux - 逻辑CPU: cat /proc/cpuinfo| grep “processor”| wc -l


偷懒大法:

  • 核心线程数:CPU核心数
  • 最大线程数:CPU逻辑CPU( CPU核心数 * 2)

参考资料:

https://blog.youkuaiyun.com/weixin_49258262/article/details/125463819?spm=1001.2014.3001.5506
https://blog.youkuaiyun.com/Wei_Naijia/article/details/127028398?spm=1001.2014.3001.5506
https://blog.youkuaiyun.com/wozyb1995/article/details/125044992?spm=1001.2014.3001.5506
https://blog.youkuaiyun.com/iampatrick_star/article/details/124490586?spm=1001.2014.3001.5506
https://www.cnblogs.com/651434092qq/p/14240406.html
https://juejin.cn/post/6948034657321484318
https://juejin.cn/post/7072281409053786120

Spring(19) ThreadPoolTaskExecutor 线程池的使用 阅读详情

相关推荐

【Java】SpringBoot中使用ThreadPoolTaskExecutor实现异步多线程

一、配置类 @Configuration public class TaskConfig { @Bean("taskModuleExecutor") public ThreadPoolTaskExecutor taskExecutor() { ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolT...

Mr_EvanChen的Blog 3829

Spring线程池ThreadPoolTaskExecutor的使用

文章目录1 简介2 示例2.1 线程池配置类2.2 异步方法2.3 启动测试 1 简介 Spring 通过任务执行器(TaskExecutor)来实现多线程和并发编程,使用ThreadPoolTaskExecutor实现一个基于线程池的TaskExecutor, 还得需要使用@EnableAsync开启异步,并通过在需要的异步方法那里使用注解@Async声明是一个异步任务 Spring 已经实现的异常线程池: SimpleAsyncTaskExecutor:不是真的线程池,这个类不重用线程,每次调用都会创

上善若泪 5万+

springboot3 ThreadPoolTaskExecutor 和 Executors 线程池优化

在 Spring Boot 3 中,可以通过 ThreadPoolTaskExecutor 和 Executors 等方式创建和管理线程池。

空 1246

线程池ThreadPoolExecutor详解(整理详细)

线程池

trusause的博客 2万+

SpringBoot多线程开发总结

SpringBoot多线程开发指南摘要 SpringBoot通过@Async注解简化多线程开发,核心要点包括: 基础配置:需在启动类添加@EnableAsync启用异步支持 线程池优化:建议通过AsyncConfigurer自定义线程池参数(核心/最大线程数、队列容量等) 多线程池隔离:可为不同业务场景配置独立线程池(日志/核心业务/报表等) 返回值处理:推荐使用CompletableFuture实现异步结果链式处理和组合 事务注意事项:@Async与@Transactional不能同方法使用,需拆分异步调

程序吟游的博客 4713

SpringBoot 2.2.5 配置自定义线程池,并使用@Async执行异步方法,@Scheduled实现定时任务,及获取线程池中线程的返回结果

【代码】SpringBoot 2.2.5 配置自定义线程池,并使用@Async执行异步方法,@Scheduled实现定时任务,及获取线程池中线程的返回结果。

qq_43659871的博客 1585

springboot利用ThreadPoolTaskExecutor多线程批量插入百万级数据

开发目的:提高百万级数据插入效率。 采取方案:利用ThreadPoolTaskExecutor多线程批量插入。 采用技术:springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。 具体细节: 第一步: application-dev.properties添加...

阿啄debugIT 2万+

深入理解高并发编程 - 线程池与 初谈 ThreadPoolExecutor 类

AbstractExecutorService 是一个抽象类,实现了 ExecutorService 接口的部分方法,提供了一些默认的实现。它可以用作自定义线程池的基类。@Override@Override@Override@Override@Override@Override@Override可以根据需求自行在任务执行前、执行后、异常处理等地方插入代码,进行自定义的监控和日志记录。

学无止境 468

使用 SpringBoot 线程池ThreadPoolTaskExecutor 异步记录日志

为什么使用线程池? 摘录自 YourBatman 在Java中,我们一般通过集成 Thread 类和实现 Runnnable 接口,调用线程的 start() 方法实现线程的启动。但如果并发的数量很多,而且每个线程都是执行很短的时间便结束了,那样频繁的创建线程和销毁进程会大大的降低系统运行的效率。线程池正是为了解决多线程效率低的问题而产生的,他使得线程可以被复用,就是线程执行结束后不被销毁,而是可以继续执行其他任务。 使用场景 当你的任务是非必要的时候。比如记录操作日志、通知第三方服务非必要信息等,可以使

汉水河畔的博客 3132

SpringBoot中使用Spring自带线程池ThreadPoolTaskExecutor与Java8CompletableFuture实现异步任务示例

关于线程池的使用:项目开发中多使用SpringBoot,Spring中有个自带的线程池ThreadPoolTaskExecutorSpring 通过任务执行器(TaskExecutor)来实现多线程和并发编程,使用ThreadPoolTaskExecutor实现一个基于线程池的TaskExecutorThreadPoolTaskExecutor是spring core包中的,而ThreadPoolExecutor是JDK中的JUC。

BADAO_LIUMANG_QIZHI的博客 3287

SpringBoot整合ThreadPoolTaskExecutor实现线程池异步多任务

SpringBoot整合ThreadPoolTaskExecutor实现线程池异步多任务

Jaemon 3734

SpringBoot使用多线程

一、概述 1、为什么使用多线程 在我们开发系统过程中,经常会处理一些好费时间的任务(如:向数据库中插入上百万数据,将会导致系统等待),这个时候就会自然想到使用多线程。 2、为什么使用Spring来实现多线程 使用Spring比使用JDK原生的并发API更简单。(@Async就能解决)。 一般的开发环境都会集成Spring框架,Bean也都交给Spring来管理,因此,Spring实现多线程更简单。 3、为什么需要使用异步 传统的调用方式:调用一个服务,需要等待服务调用完成后,才能执行后面的代码,

csdn_life18的博客 3万+

普通人也能看懂的Transformer源代码解释(PyTorch)

Transformer源代码解释之PyTorch篇 章节 词嵌入 位置编码 多头注意力 搭建Transformer 在这里插入图片描述 词嵌入 Transformer本质上是一种Encoder,以翻译任务为例,原始数据集是以两种语言组成一行的,在应用时,应是Encoder输入源语言序列,Decoder里面输入需要被转换的语言序列(训练时)。一个文本常有许多序列组成,常见操作为将序列进行一些预处理(如词切分等)变成列表,一个序列的列表的元素通常为词表中不可切分的最小词,整个文本就是一个大列表,元素为一个一

qq_50974223的博客 4172

SpringBoot开启异步多线程

SpringBoot 的异步多线程需要从 java 的多线程基础说起,可以参考java 多线程实现的三种方式区别。SpringBoot 在此基础上进行了多次封装,所以使用起来非常方便。

清泉影月 6351

ADS2023仿真变容二极管特性

仿真S-Param仿真控件,设置为Single Point,将频率设置为1MHz,同时勾选Z-parameters,取消S-parameters,从元件库中选择元器件搭建原理图,并根据器件spice提供的相关参数,对原理图中器件参数进行修改,修改完成的电路图如下图所示。添加var控件和MeasEqn控件,相关设置如图所示,Ct为变容管的电容值,Q0为其品质因数。因此,对变容二极管的模型仿真结果是可以信赖的。将其解压,在spice文件夹中,可以找到我们想要的器件参数,和仿真简要电路图。

weixin_45811090的博客 1万+

DFT设计绪论

DFT设计的主要目的是为了将defect-free的芯片交给客户。 产品质量,通常使用Parts Per million(PPM)来衡量。 但是随着IC从SSI到VLSI的发展,在test上花销的时间越来越多,test的quality却很难提高,这使得DFT的engineer不断的发展着DFT的技术。 DFT engineer面对的第一个问题是设计内部的状态的可测试性问题。在...

ahr7882的博客 1197

在Spring Boot中使用@Async异步任务的线程池

既然有了@Async,我们还需要使用他提供的线程池? 虽然使用`@Async`注解允许方法异步执行,但它并不提供底层的线程池管理。默认情况下,Spring会使用一个简单的任务执行器来执行异步方法,这可能不是在所有场景下都是理想的。

好看的皮囊千篇一律,有趣的灵魂万里挑一。 2384

关于Kswapd的理解(一)

关于Kswapd的理解(一) 之前跟踪了MemAvailable的计算方式,其中watermark的计算花了很多精力,在学习的过程中看到一些资料中说watermark是给swapd使用的,于是乎,研究一下看看咯 本部分主要记录两个方面: 对于kswapd这个东西,从初学者(我)的角度出发会考虑哪些内容? 跟踪kswapd 初始化结构部分; 1. KSwapd机制 上图是还没有跟踪kswapd code的时候,对自己提出的一些疑问和自身的理解,主要是如下内容: kswapd 机制用来做什么:内存不足时

And乔的博客 2727

Spring Boot 创建及使用多线程

文章目录Spring Boot多线程1. 介绍2. 配置类3. 基于@Async无返回值调用3.1 任务执行3.2 测试代码4. 基于@Async返回值的调用Ref Spring Boot多线程 1. 介绍 Spring是通过任务执行器(TaskExecutor)来实现多线程和并发编程,使用ThreadPoolTaskExecutor来创建一个基于线城池的TaskExecutor。在使用线程池的大...

小鹅鹅的博客 4万+

迅投miniQMT量化交易实战指南:从入门到自动化交易系统构建

迅投miniQMT量化交易实战指南摘要 本文全面介绍迅投miniQMT量化交易系统的开发流程,重点包括: 环境配置:详细说明miniQMT极简模式的安装步骤,包括xtquant库获取、Python版本要求及验证方法 行情数据模块:解析xtdata模块的核心功能,包括: 获取板块分类与股票列表 查询合约基础信息 下载历史K线数据(支持tick、分钟、日线等周期) 交易执行模块:介绍xttrader模块的交易API,涵盖: 账户连接与初始化 订单管理(下单、撤单、查询) 持仓与资产查询 实战开发:提供可直接运行

huanghm88的专栏 672

VS2019编译配置Easy3D

VS2019编译配置Easy3D

dayuhaitang1的博客 2602

SpringBoot用线程池ThreadPoolTaskExecutor异步处理百万级数据

利用ThreadPoolTaskExecutor多线程异步批量插入,提高百万级数据插入效率。ThreadPoolTaskExecutor是对ThreadPoolExecutor进行了封装处理。ThreadPoolTaskExecutor是ThreadPoolExecutor的封装,所以,性能更加优秀,推荐ThreadPoolTaskExecutor。

qq_35989920的博客 3316

大厂面试级C#上位机完整项目(终极版):工业级Modbus协议封装 + 标准多线程采集 + 全链路异常处理

(Modbus统一通信接口)、(采集服务接口)职责:定义所有核心操作的标准接口,屏蔽底层差异(RTU/TCP、串口/TCP),面向接口编程的核心体现。新增协议/采集方式,只需实现接口,核心代码零改动。/// 自定义Modbus通信异常类 - 大厂标准,区分通信异常和其他异常/// 包含异常信息+内部异常,可溯源完整错误堆栈,面试必写本次项目是对标大厂工控上位机岗位的终极版实战项目,所有代码、架构、设计都遵循大厂标准,覆盖了面试官考察的所有核心考点✅ 纯手写Modbus协议,体现你对协议底层的吃透。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 861

SpringBoot ThreadPoolTaskExecutor异步使用(一)

SpringBoot ThreadPoolTaskExecutor异步使用(一)SpringBoot ThreadPoolTaskExecutor @Async线程池注入(一)参数解释 SpringBoot ThreadPoolTaskExecutor @Async 在SpringBoot项目中,异步线程池的使用,参数设置,队列拒绝策略;以及对比ForkJoinPool各场景下的性能。 环境:j...

living_alone_zhou的博客 4314

[STC32G144K246入门第三步]驱动串口收发(接收不定长数据)

本文介绍了STC32G144K246单片机的串口功能配置与使用。该芯片具有8组独立USART,支持异步/同步模式,各串口可独立配置波特率并支持DMA传输。重点讲解了串口寄存器配置方法,包括引脚设置、波特率计算和中断处理。特别指出RX引脚需配置为开漏或准双向口以避免接收乱码。还介绍了通过定时器实现不定长数据接收的技术方案,并提供了完整的初始化代码和中断处理函数示例。文中包含串口时序图、寄存器配置表等实用参考信息,适合嵌入式开发者快速上手多串口应用开发。

sinat_58149788的博客 198

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

SpringBoot2.x整合线程池(ThreadPoolTaskExecutor)多个异步任务执行结果获取、异常处理

参考了这篇文章:SpringBoot2.x整合线程池(ThreadPoolTaskExecutor) https://www.jianshu.com/p/3d875dd9d5db 异步执行结果集处理及异常处理示例: 定义一个异步任务,在入参为3时模拟抛出异常的情况 @Log4j2 @Component public class AsyncTest { @Async("asyncServiceExecutor") public Future<String> sync(i

神奇的酱油的博客 2345

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: Centos7.6 Nginx PHP 配置
Mr丶LuoT4
博客等级 码龄9年 18粉丝 12原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值