线程池遇到父子任务,有大坑,要注意!

Qt多线程编程实战:QThread、moveToThread与线程池的深度解析 多线程编程是提升软件响应性和性能的核心技术,其原理在于通过并发执行任务来避免主线程阻塞。在GUI程序中,耗时操作若在主线程执行会导致界面卡顿,多线程技术通过将任务分配到后台线程来解决此问题,从而提升用户体验和程序效率。Qt框架提供了多种线程实现方案,每种方案都有其特定的技术价值与适用场景。例如,QThread提供了基础的线程管理能力,而moveToThread机制则实现了线程与业务对象的优雅分离,是处理需要事件循环的长期任务的推荐实践。对于大量可并行的短期计算任务,QRunnable配合QThreadPoo 阅读详情

最近在使用线程池的时候踩了一个坑,给你分享一下。

在实际业务场景下,涉及到业务代码和不同的微服务,导致问题有点难以定位,但是最终分析出原因之后,发现可以用一个很简单的例子来演示。

所以这次先用 Demo 说问题,再说场景,方便吸收。

图片

Demo

老规矩,还是先上个代码:

图片

这个代码的逻辑非常简单,首先我们搞了一个线程池,然后起一个 for 循环往线程池里面仍了 5 个任务,这是核心逻辑。

对于这几个任务,我们的这个自定义线程池处理起来,不能说得心应手吧,至少也是手拿把掐。

其他的 StopWatch 是为了统计运行时间用的。至于 CountDownLatch,你可以理解为在业务流程中,需要这五个任务都执行完成之后才能往下走,所以我搞了一个 CountDownLatch。

这个代码运行起来是没有任何问题的,我们在日志中搜索“执行完成”,也能搜到 5 个,这个结果也能证明程序是正常结束的:

图片

同时,可以看到运行时间是 4s。

示意图大概是这样的:

图片

然后歪师傅看着这个代码,发现了一个可以优化的地方:

图片

这个地方从数据库捞出来的数据,它们之间是没有依赖关系的,也就是说它们之间也是可以并行执行的。

所以歪师傅把代码改成了这样:

图片

在异步线程里面去处理这部分从数据库中捞出来的数据,并行处理加快响应速度。

对应到图片,大概就是这个意思:

图片

把程序运行起来之后,日志变成了这样:

图片

我们搜索“执行完成”,也能搜到 5 个对应输出。

而且我们就拿“任务2”来说:

图片

当前线程pool-1-thread-3,---【任务2】开始执行---
当前线程pool-1-thread-3,---【任务2】执行完成---
当前线程pool-1-thread-1,【任务2】开始处理数据=1
当前线程pool-1-thread-2,【任务2】开始处理数据=2

从日志输出来看,任务 2 需要处理的两个数据,确实是在不同的异步线程中处理数据,也实现了我的需求。

但是,程序运行直接就是到了 9.9ms:

图片

这个优化这么牛逼的吗?

从 4s 到了 9.9ms?

稍加分析,你会发现这里面是有问题的。

那么问题就来了,到底是啥问题呢?

图片

你也分析分析大概是啥问题,别老是想着直接找答案啊。

图片

问题就是由于转异步了,所以 for 循环里面的任务中的 countDownLatch 很快就减到 0 了。

于是 await 继续执行,所以很快就输出了程序运行时间。

然而实际上子任务还在继续执行,程序并没有真正完成。

9.9ms 只是任务提交到线程池的时间,每个任务的数据处理时间还没算呢:

图片

从日志输出上也可以看出,在输出了 StopWatch 的日志后,各个任务还在处理数据。

这样时间就显得不够真实。

那么我们应该怎么办呢?

很简单嘛,需要子任务真正执行完成后,父任务的 countDownLatch 才能进行 countDown 的动作。

具体实现上就是给子任务再加一个 countDownLatch 栅栏:

图片

我们希望的运行结果应该是这样的:

当前线程pool-1-thread-3,---【任务2】开始执行---
当前线程pool-1-thread-1,【任务2】开始处理数据=1
当前线程pool-1-thread-2,【任务2】开始处理数据=2
当前线程pool-1-thread-3,---【任务2】执行完成---

即子任务全部完成之后,父任务才能算执行完成,这样统计出来的时间才是准确的。

思路清晰,非常完美,再次运行,观察日志我们会发现:

图片

呃,怎么回事,日志怎么不输出了?

是的,就是不输出了。

不输出了,就是踩到这个坑了。

不论你重启多少次,都是这样:日志不输出了,程序就像是卡着了一样。

图片

坑在哪儿

上面这个 Demo 已经是我基于遇到的生产问题,极力简化后的版本了。

现在,这个坑也已经呈现在你眼前了。

我们一起来分析一波。

首先,我问你:真的在线上遇到这种程序“假死”的问题,你会怎么办?

早几年,歪师傅的习惯是抱着代码慢慢啃,试图从代码中找到端倪。

这样确实是可以,但是通常来说效率不高。

现在我的习惯是直接把现场 dump 下来,分析现场。

比如在这个场景下,我们直观上的感受是“卡住了”,那就 dump 一把线程,管它有枣没枣,打一杆子再说:

图片

通过 Dump 文件,可以发现线程池的线程都在 MainTest 的第 30 行上 parking ,处于等待状态:

图片

那么第 30 行是啥玩意?

图片

这行代码在干啥?

countDownLatchSub.await();

是父任务在等待子任务执行结束,运行 finally 代码,把 countDownLatchSub 的计数 countDown 到 0,才会继续执行:

图片

所以现在的现象就是子任务的 countDownLatchSub 把父任务的拦住了。

换句话说就是父任务被拦住是因为子任务的 finally 代码中的 countDownLatchSub.countDown() 方法没有被执行。

好,那么最关键的问题就来了:为什么没有执行?

你先别往下看,闭上眼睛在你的小脑瓜子里面推演一下,琢磨一下:finally 为什么没有执行?

图片

或者再换个更加接近真实的问题:子任务为什么没有执行?

这个点,非常简单,可以说一点就破。

琢磨明白了,这个坑的原理摸摸清楚了。

...

...

...

琢磨明白了吗?你就刷刷往下看?

图片

没明白我再给你一个信息:需要结合线程池的参数和运行原理来分析。

什么?

你说线程池的运行原理你不清楚?

请你取关好吗,你个假粉丝。

...

...

...

好,不管你“恍然大悟”了没有,歪师傅给你讲一下。

让你知道“一点就破”这四个是怎么回事儿。

首先,我们把目光聚焦在线程池这里:

图片

这个线程池核心线程数是 3,但是我们要提交 5 个任务到线程池去。

父任务哐哐哐,就把核心线程数占满了。

接下来子任务也要往这个线程池提交任务怎么办?

当然是进队列等着了。

一进队列,就完犊子。

到这里,我觉得你应该能想明白问题了。

应该给到我一个恍然大悟的表情,并配上“哦哦哦~”这样的内心 OS。

图片

你想想,父任务这个时候干啥?

是不是等在 countDownLatchSub.await() 这里。

而 countDownLatchSub.await() 什么时候能继续执行?

是不是要所有子任务都执行 finally 后?

那么子任务现在在干啥?

是不是都在线程池里面的队列等着被执行呢?

那线程池队列里面的任务什么时候才执行?

是不是等着有空闲线程的时候?

那现在有没有空闲线程?

没有,所有的线程都去执行父任务去了。

那你想想,父任务这个时候干啥?

是不是等在 countDownLatchSub.await() 这里。

...

父任务在等子任务执行。

子任务在等线程池调度。

线程池在等父任务释放线程。

闭环了,相互等待了,家人们。

这,就是坑。

现在把坑的原理摸清楚了,我在给你说一下真实的线上场景踩到这个坑是怎么样的呢?

图片

上游发起请求到微服务 A 的接口 1,该接口需要调用微服务 B 的接口 2。

但是微服务 B 的接口 2,需要从微服务 A 接口 3 获取数据。

然而在微服务 A 内部,全局使用的是同一个自定义线程池。

更巧的是接口 1 和接口 3 内部都使用了这个自定义线程池做异步并行处理,想着是加快响应速度。

整个情况就变成了这样:

  1. 接口 1 收到请求之后,把请求转到自定义线程池中,然后等接口 2 返回。

  2. 接口 2 调用接口 3,并等待返回。

  3. 接口 3 里面把请求转到了自定义线程池中,被放入了队列。

  4. 线程池的线程都被接口 1 给占住了,没有资源去执行队列里面的接口 3 任务。

  5. 相互等待,一直僵持。

我们的 Demo 还是能比较清晰的看到父子任务之间的关系。

但是在这个微服务的场景下,在无形之间,就形成了不易察觉的父子任务关系。

所以就踩到了这个坑。

怎么避免

找到了坑的原因,解决方案就随之而出了。

父子任务不要共用一个线程池,给子任务也搞一个自定义线程池就可以了:

图片

运行起来看看日志:

图片

首先整体运行时间只需要 2s 了,达到了我想要的效果。

另外,我们观察一个具体的任务:

当前线程pool-1-thread-3,---【任务2】开始执行---
当前线程pool-2-thread-1,【任务2】开始处理数据=1
当前线程pool-2-thread-4,【任务2】开始处理数据=2
当前线程pool-1-thread-3,---【任务2】执行完成---

日志输出符合我们前面分析的,所有子任务执行完成后,父任务才打印执行完成,且子任务在不同的线程中执行。

而使用不同的线程池,换一个高大上的说法就叫做:线程池隔离。

而且在一个项目中,公用一个线程池,也是一个埋坑的逻辑。

至少给你觉得关键的逻辑,单独分配一个线程池吧。

避免出现线程池的线程都在执行非核心逻辑了,反而重要的任务在队列里面排队去了。

这就有点不合理了。

最后,一句话总结这个问题:

如果线程池的任务之间存在父子关系,那么请不要使用同一个线程池。如果使用了同一个线程池,可能会因为子任务进了队列,导致父任务一直等待,出现假死现象。

想起从前

写这篇文章的时候,我想起了之前写过的这篇文章:

《要我说,多线程事务它必须就是个伪命题!》

这篇文章是 2020 年写的,其中就是使用了父子任务+CountDownLatch 的模式,来实现所谓的“多线程事务”。

在文中我还特别强调了:

不能让任何一个任务进入队列里面。一旦进入队列,程序立马就凉。

图片

这句话背后的原理和本文讨论的其实是一样的。

好吧,原来多年前我就知道这个坑了。

只是多年后再次遇到这个坑的时候,我已经不再是那个二十多岁,喜欢深夜怼文的我了。

那一年的荒腔走板,图片中的沙发,当年只是想摆拍一下,当个道具,后来觉得坐着还挺舒服,我们就买回家了。

当年为了装修房子煞费苦心,现在也已经入住了 3 年有余的时间了。

当我回望几年前写的文章,在当时技术部分是最重要的,但是回望的时候这部分已经不重要了。

它已经由一篇技术文章变成了一个生活的锚点,其中的蛛丝马迹,能让我从脑海深处想起之前生活中一些不痛不痒的印迹。

一艘轮船,在靠岸之后要下锚,那个点位就是锚点。

锚点可以让船稳定在海岸边,不被风浪或者潮汐带走。

生活也需要锚点,我似乎找到了我的锚点。

本文的技术部分就到这里了。

本文转自: why技术

Java架构师2024高频面试问题 介绍Java架构师2024高频面试问题,参考答案有详细说明 阅读详情

相关推荐

【电力系统】高压直流输电VSC-HVDC,四个变流站联合输电 / 交直流混合并网系统

本文研究了一种基于电压源型换流器(VSC)的高压直流输电(HVDC)系统,该系统通过四个变流站实现联合输电并接入交直流混合电网。文章介绍了系统的结构、工作原理以及控制策略,分析了交直流混合并网的特性,并通过仿真验证了系统的性能。结果表明,该系统具有良好的稳定性和灵活性,能够有效实现多点供电和功率协调。

2401_84610415的博客 2243

线程池-任务执行流程

核心线程数:(线程池队列为LinkedBlockingQueue) 要执行的任务数< 核心线程数,则不会进入队列,而是创建新的线程 要执行的任务数 >核心线程数,并且等待队列未满,则进入等待队列; 要执行的任务数 >核心线程数,并且 < 最大连接数 并且 等待队列已满,则创建新线程; 要执行的任务数 >核心线程数,并且>最大连接数 并且 等待队列已满,则调用拒绝策略来处理该任务(抛异常) ...

Y_hahaha的博客 1493

手把手教你使用YOLOv11模型,训练自己数据集,百分百成功(无废话)

YOLOV11百分百成功训练自己的数据集并进行图像、视频流脚本预测

chenhenGzzz的博客 1955

ThreadPoolExecutor原理浅析及任务队列中的任务在何时通过何种方式被执行

最近在学习Java线程池,在阅读ThreadPoolExecutor的源码过程中,一直有个疑问,即线程池等待队列中的任务是如何被调起执行的呢? 接下来从ThreadPoolExecutor的execute()方法开始一步步分析其原理。 execute()方法 // 存放线程池的运行状态 (runState) 和线程池内有效线程的数量 (workerCount) private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));

qq_32777253的博客 1699

AI 边缘计算控制器GEAC91

AI 边缘计算控制器GEAC91是AI边缘计算控制器是一款基于 NVIDIA Jetson AGX Xavier处理 器、面向智能边缘计算应用场景的解决方案。

weixin_45905610的博客 1203

STM32F105双路CAN通讯无法进入接收中断问题及解决方法

STM32F105RBT6双路CAN通讯无法进入接收中断问题及解决方法

m0_62383223的博客 3444

java——线程池

线程池线程池线程池可以看做是。它的工作主要是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后 启动这些任务,如果线程数量超过了最大数量超出数量的线程排队等候,等其它线程执行完毕, 再从队列中取出任务来执行。他的主要特点为:线程复用;控制最大并发数;管理线程。每一个 Thread 的类都有一个 start 方法。当调用 start 启动线程时 Java 虚拟机会调用该类的 run 方法。那么该类的 run() 方法中就是调用了 Runnable 对象的 run() 方法。

FXY_11的博客 279

Windows下QT5.15.2安装MQTT模块全攻略(附分支选择避坑指南)

本文详细介绍了在Windows环境下为QT5.15.2安装MQTT模块的完整流程,包括环境准备、源码获取、编译配置及项目集成等关键步骤。特别针对分支选择、依赖项处理和常见错误提供了实用解决方案,帮助开发者高效完成MQTT模块的安装与调试,适用于物联网开发场景。

weixin_29224589的博客 466

线程池的-任务执行机制

线程池的任务执行机制 任务调度 任务调度是线程池的主要入口(execute(Runnable r)),接下来任务如何执行都是有这个阶段决定的; 所有的任务调度都是有execute方法完成,检查现在线程池的运行状态,运行的线程数,运行策略,决定接下来执行的流程,是直接申请线程执行,还是缓冲到队列中执行,亦或是直接拒绝该任务; 执行过程如下: 1.首先检查线程池的运行状态,如果不是RUNNING,则直接拒绝,线程池要保证在RUNNING状态下执行任务 2.如果workCount < corePoolSiz

晓魏 1959

【深度学习|语义分割之UNet】如何使用ResNet50 作为 U-Net 网络的骨干网络(backbone)并使用预训练的 ResNet50 模型。附代码及解读。

【深度学习|语义分割之UNet】如何使用ResNet50 作为 U-Net 网络的骨干网络(backbone)并使用预训练的 ResNet50 模型。附代码及解读。

985小水博的摸鱼日常 3093

qwen2vl ValueError: Image features and image tokens do not match: tokens: 568, features 600

本文介绍了一个用于计算多模态数据集中样本token数量的Python工具,特别针对包含文本和图像的Qwen2-VL模型数据集。

q742971636的博客 1017

线程池的任务调度流程

线程池的任务调度流程

qq_31849075的博客 1828

【C#学习记录】如何让界面控件实现自适应布局(Winform)

小伙伴们大家好,我是雷工!在软件界面设计中,客户常常要求设计的界面可以随意缩放,缩放过程中,界面中的按钮等控件也会随着窗体变大缩小自动调整显示位置和尺寸大小。在C#的Winform窗体中如何实现这个效果,下面我们一起学习下。

做有价值的事,积累有价值的笔记! 1万+

记录父子任务共用一个线程池的阻塞场景

父子任务共用一个线程池的阻塞场景

ns3405453840的博客 323

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上周热点回顾(7.15-7.21)

热点随笔: ·求救信:救下园子,保住这块开发者的天地(博客园团队)·给博客园的寄语(☆№忧忧★♂)·36岁,大龄剩男,2024上半年总结......(久曲健)·我不应该用JWT的!(sum墨)·线程池遇到父子任务,有大坑,要注意!(why技术)·架构与思维:微服务架构的思想本质(Hello-Brand)·.NET科普:.NET简史、.NET Standard以及C#和....

weixin_36661894的博客 141

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

上一篇: 最怕同事写出这样的代码。。。
下一篇: Optional 是个好东西,你真的会用嘛?
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值