线程池笔记

NUS-WIDE-10K数据集制作 NUS-WIDE是一个多标签数据集,数据集中一共包含26,9648个样本,可以分为81个类。最近在做跨模态检索项目,发现有很多论文里面都用到了NUS-WIDE-10K数据集,但是在网上也没有搜索到相关的数据集下载链接或者是数据集制作代码,所以自己动手写了一个NUS-WIDE-10K数据集的制作代码。 1.介绍 我在网上找到的最早关于NUS-WIDE-10K数据集描述的论文是:Cross-modal Retrieval with Correspondence Autoencoder。描述如下:作者选择了N 阅读详情

jdk1.8源码中的UML

ThreadPoolExecutor
AbstractExecutorService
ExecutorService
Executor
接口Executor

此接口提供了一种将任务提交与每个任务的运行机制分离的方法

void execute(Runnable command);
接口ExecutorService
  1. 提供两个关闭ExecutorService的方法。关闭后,没有在执行的任务,也没有等待执行的任务且新任务无法提交。此时ExecutorService资源将被回收。

    • shutdown方法,关闭前会执行已提交的任务
    • shutdownNow方法,会阻止已提交等待执行的任务,并且会尝试关闭正在执行的任务。
  2. 扩充执行任务的能力。

    • submit方法,future方式用来等待任务执行结果
    • invokeAny方法,执行任何一个任务
    • invokeAll方法,执行一批任务
抽象类AbstractExecutorService

提供ExecutorService执行方法的默认实现,将执行任务的流程串起来,下层只需关注任务的实现。

ThreadePoolExecutor

实现最复杂的运行部分,一方面
维护自身的生命周期,另一方面同时管理线程和任务,使两者良好的结合从而执行并行任务。

ThreadePoolExecutor运行机制

模型图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Pg9VCUOI-1655452866388)(https://github.com/wangjinwengithub/-/blob/master/%E7%BA%BF%E7%A8%8B%E6%B1%A0/%E7%BA%BF%E7%A8%8B%E6%B1%A0%E6%A8%A1%E5%9E%8B.drawio.png?raw=true)]

线程池5种状态
    private static final int COUNT_BITS = Integer.SIZE - 3;
    private static final int CAPACITY   = (1 << COUNT_BITS) - 1;
    private static final int RUNNING    = -1 << COUNT_BITS;//运行状态,可以接收新的任务
    private static final int SHUTDOWN   =  0 << COUNT_BITS;//关闭状态,不再接收新任务,但仍然处理队列中的任务。
    private static final int STOP       =  1 << COUNT_BITS;//不接收新的任务,也不处理队列中的任务,尝试中断执行中的任务
    private static final int TIDYING    =  2 << COUNT_BITS;//所有任务都已终止,workCount(有效线程数)为0
    private static final int TERMINATED =  3 << COUNT_BITS;//terminated()方法执行完以后变成该状态
    

RUNNING为-1左移29位。即:
1000 0000 0000 0000 0000 0000 0000 0001 左移29位得
1001 0000 0000 0000 0000 0000 0000 0000
SHUTDOWN为0左移29位。即:
0000 0000 0000 0000 0000 0000 0000 0000 左移29位得
0000 0000 0000 0000 0000 0000 0000 0000
STOP为1左移29位。即:
0000 0000 0000 0000 0000 0000 0000 0001 左移29位得
0001 0000 0000 0000 0000 0000 0000 0000
TIDYING为2左移29位。即:
0000 0000 0000 0000 0000 0000 0000 0010 左移29位得
0010 0000 0000 0000 0000 0000 0000 0000
TERMINATED为3左移29位。即:
0000 0000 0000 0000 0000 0000 0000 0011 左移29位得
0011 0000 0000 0000 0000 0000 0000 0000

当前运行线程数

int c = ctl.get();
if (workerCountOf(c) < corePoolSize) {
    if (addWorker(command, true))
        return;
    c = ctl.get();
}
private static int workerCountOf(int c)  { return c & CAPACITY; }

先来看一下初始c是多少

private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
private static int ctlOf(int rs, int wc) { return rs | wc; }

c:
1001 0000 0000 0000 0000 0000 0000 0000 |
++0000 0000 0000 0000 0000 0000 0000 0000++
1001 0000 0000 0000 0000 0000 0000 0000

CAPACITY为1左移29位再减去1。即:
0000 0000 0000 0000 0000 0000 0000 0001 左移29位得
0001 0000 0000 0000 0000 0000 0000 0000 -1得
0000 1111 1111 1111 1111 1111 1111 1111

这个时候就可以算出初始运行线程数
c|CAPACITY
1001 0000 0000 0000 0000 0000 0000 0000 &
++0000 1111 1111 1111 1111 1111 1111 1111++
0000 0000 0000 0000 0000 0000 0000 0000

再来看一下运行状态的计算

private static int runStateOf(int c)     { return c & ~CAPACITY; }

~CAPACITY 为:
1111 0000 0000 0000 0000 0000 0000 0000

~CAPACITY&c
1111 0000 0000 0000 0000 0000 0000 0000 &
++1001 0000 0000 0000 0000 0000 0000 0000++
1001 0000 0000 0000 0000 0000 0000 0000

分析到这里,基本上可以得出一个结论。

线程池用一个原子操作的int类型来存储线程池状态和运行中线程个数两种数据。采用高4(32 ~ 29)位存储线程池状态,低28(28~1)位来存储运行线程数量。

态间的转换

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aIpSbl9f-1655452866389)(https://github.com/wangjinwengithub/-/blob/master/%E7%BA%BF%E7%A8%8B%E6%B1%A0/%E7%BA%BF%E7%A8%8B%E6%B1%A0%E7%8A%B6%E6%80%81%E8%BD%AC%E6%8D%A2%E5%9B%BE.png?raw=true)]

当一个任务提交时
  1. 会先判断当前运行的线程数是否小于核心线程数,小于会尝试创建一个新的线程直接执行。
  2. 线程数不小于核心线程数或创建新线程失败,会尝试加入到任务队列。
  3. 加入任务队列失败则拒绝任务。
    public Future<?> submit(Runnable task) {
        if (task == null) throw new NullPointerException();
        RunnableFuture<Void> ftask = newTaskFor(task, null);
        execute(ftask);
        return ftask;
    }
    
    public void execute(Runnable command) {
        if (command == null)
            throw new NullPointerException();
        int c = ctl.get();
        if (workerCountOf(c) < corePoolSize) {
            if (addWorker(command, true))
                return;
            c = ctl.get();
        }
        if (isRunning(c) && workQueue.offer(command)) {
            int recheck = ctl.get();
            if (! isRunning(recheck) && remove(command))
                reject(command);
            else if (workerCountOf(recheck) == 0)
                addWorker(null, false);
        }
        else if (!addWorker(command, false))
            reject(command);
    }

从源码中可以看到,一个任务提交上来以后,调用的是AbstractExecutorService中的submit方法,将任务包装成future然后调用ThreadPoolExecutor中的execute方法。

submit详细流程图

image

何时销毁

添加任务时创建一个Worker对象,这个Worker对象执行完当前任务会去轮询阻塞队列,如果阻塞队列里面没有任务,就有可能销毁。
对于核心线程来说,可以无限等待任务执行。非核心线程超时没有获取到任务,会进入销毁流程。

如何销毁

添加线程是吧Worker放入一个set集合中,销毁是把相应的Worker对象从set集合中移除。gc自动回收来达到销毁的目的。

得物(毒)App潮鞋价格波动监控系统实战:从爬虫开发到数据可视化完整指南 本文将带领您从零开始构建一套完整的得物潮鞋价格监控系统,涵盖爬虫开发、数据存储、价格波动分析和可视化展示等全流程技术。我们将使用最新的Python技术栈,包括异步爬虫框架、智能代理池、反爬虫绕过技巧,以及基于机器学习的时间序列预测模型。无论您是想要追踪特定鞋款价格的潮流爱好者,还是希望构建商业级监控系统的开发者,这篇文章都将为您提供切实可行的解决方案。 阅读详情

相关推荐

openstack卷分离异常问题处理

对于 2023-05-10 之后的所有 OpenStack 版本,需要将Nova 配置为向 Cinder 发送服务令牌,然后 Cinder 接收该令牌。cinder.conf处添加service_token_role配置。1.修改nova的config文件添加如下配置。确定service role 是否存在。有关详细信息,请参阅。重启nova cinder 服务。nova-compute日志。cinder-api日志。

weixin_43391291的博客 480

Xubuntu22.04之drawio如何绘制曲线(一百七十九)

本篇目的:由于Drawio没有线程不带箭头的曲线,需要自己自己设置、调整,给大家避坑,把我的方式分享给大家。

Android系统攻城狮 4316

DataHub 架构设计与核心工作原理

DataHub 是一个第三代数据目录系统,专为现代数据栈设计,支持数据发现、协作、治理和端到端可观测性。其架构采用模型优先的设计理念,注重不同工具和系统之间的互操作性。

北斗云的博客 1227

Draw.io | 一款强大且支持在线编辑和导出的流程图绘制神器

Draw.io是一款非常出色的免费流程图绘制工具。利用这款工具,您可以轻松地绘制各种图表、图示和图形,涵盖了流程图、UML类图、组织结构图、泳道图、E-R图、文氏图等多种类型,适用于商务、工程、电气、网络设计、软件设计等各个领域的专业绘图需求。Draw.io致力于成为一款完全开源、免费且高质量的绘图软件。

青春木鱼的博客 11万+

从零构建腾讯滑块验证码破解引擎:逆向工程与实战对抗

本文深入解析腾讯滑块验证码(原天御验证码)的防护机制,包括环境感知层、行为分析层和验证决策层的核心技术。通过JSVMP虚拟机保护、轨迹验证算法和动态加密体系,腾讯验证码实现了高效的人机识别。文章还提供了安全研究实践指南,涵盖环境模拟和验证码识别方案,并探讨了防御对抗的演进趋势与合规研究建议。

rl6adventurer的博客 831

射频接收机本振相噪指标计算:从倒易混频到GSM实战

在射频接收机设计中,相位噪声是衡量本振信号频谱纯度、影响系统灵敏度的关键指标。其核心影响机制源于倒易混频原理:当不纯净的本振信号与强带外阻塞信号混频时,本振的噪声边带会被转换到中频通带内,从而抬升接收机噪声基底。这一过程直接决定了接收机在阻塞测试等场景下的性能极限。从技术价值看,精确计算本振相噪要求,是进行系统噪声预算、实现成本与性能权衡的核心依据。尤其在手机、基站等对灵敏度要求极高的应用中,它指导着锁相环和压控振荡器的选型与设计。本文以经典的GSM DCS1800标准为例,通过详细的公式推导与变量分析,演

weixin_30368405的博客 329

drawio持续改造过程记录

总想自己部署一个类似于processOn的流程图在线作图软件,找到了个很好的在线作图工具 drawIo 可惜他没有自带数据库和 用户登录等功能,也没有已存在图表的展示页面, 现在想稍微对其进行部分改造,最终效果参考 processOn 首先去github上 下载项目添加链接描述 一个很平常的web工程,精华都在weproot下的js里 查看index.js 有注释 /* * * URL Pa...

PiaoMiaoXiaodao的博客 6751

相机标定原理与张氏标定法

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

heeweii的博客 2281

drawio(idea)二次开发,搭建自己的框图编辑器

drawio 项目 的二次开发。想拥有一款这样的在线框图编辑器可以从这开始。 github :https://github.com/qdteng/drawdb

4737

Coze智能体开发:搭建一个解析 PDF 文件的工作流

大模型本身并不具备文件读取和解析的能力,无法直接处理文件字节流。对于支持工具调用(Function calling)的模型,扣子提供插件功能来帮助大模型调用外部工具 API,拓展大模型的能力边界。扣子插件商店提供海量官方插件和第三方插件,例如链接读取插件可以将链接对应的文件内容解析为纯文本传递给大模型。

王国平的博客 2815

【第2章>第10节】深度学习DenseNet模型分析与matlab仿真

本文介绍了基于DenseNet深度学习模型的图像分类MATLAB实现方法。主要内容包括:1. DenseNet模型原理,详细解析了初始卷积层、密集块、过渡层等核心结构;2. 在MATLAB环境下完成DenseNet工具箱安装和测试样本准备;3. 实现图像预处理(统一缩放为224×224)、模型训练和测试的完整流程;4. 提供了混淆矩阵和准确率等测试结果分析。文章附带完整的MATLAB程序代码和操作视频教程,适合深度学习初学者快速掌握DenseNet模型的图像分类应用。通过实际测试,验证了该方案的有效性。

FPGA/MATLAB学习教程/源码/项目合作开发 330

使用ExecutorService作为局部变量时,一定要在用完后记得shutDown

public String queryAll() throws InterruptedException, ExecutionException { long start = System.currentTimeMillis(); ExecutorService cachePool = Executors.newFixedThreadPool(1); Future<List> future = cachePool.submit(() -> { return userService.que

qq_37705525的博客 1215

Qt/C++ 音视频开发 - FFmpeg 安卓版

通过将 FFmpeg 集成到 Qt/C++ 项目中,我们可以实现强大且灵活的音视频处理功能。本文介绍了在安卓平台上使用 FFmpeg 的基本步骤,包括初始化、解码、处理和编码等。实际应用代码示例展示了如何在安卓设备上播放视频。

走向CTO的路上... 1194

JAVA线程池学习笔记

JAVA线程池的学习笔记。

passion 1076

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

QT 线程池 + TCP 实战笔记

免费下载地址在 http://linux.linuxidc.com/ 用户名与密码都是www.linuxidc.com 具体下载目录在 /2012年资料/10月/3日/QT 线程池 + TCP 实战笔记 原链接: 点击打开链接

不积跬步无以至千里,不积小流无以成江海! 1203

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

java相关jvm,线程池,设计模式学习笔记-XMind

** **

doubanjiangjiang的博客 175

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

学习线程池详细笔记

阿火 173

线程池个人笔记总结

线程池个人笔记总结

wrxfxdd的博客 2035

Java线程池笔记

Java线程池 在代码开发中使用线程池,主要能带来三个好处: 降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗; 提高响应速度。当任务到达时,任务可以不需要等到线程创建,能够立即运行; 提高线程的可管理性。线程是稀缺资源,如果无限创建线程,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一分配、调优和监控。 注:当线程请求的栈容量超过栈允许的最大容量的话,J...

JY_He的博客 609

手写线程池笔记

注意有一种错误,线程函数接收的参数是引用类型或者指针类型的话,注意传入的参数不能被提前释放。类或结构体中的静态成员,可以直接使用类名::静态成员名 进行访问。防止多个线程同时对一个变量操作,要包含mutex库。A为变量类型,a为指针变量。要包含memory库。可以添加第二个参数,第二个参数是传给线程的参数。(用&取类成员函数的地址,a是A类的对象指针)构造函数自动加锁,析构函数自动解锁,更加方便。join用的多,detach用的不多。

apy123456的博客 307

线程池实现学习笔记1

今天花了一些时间学习和实现了线程池,收获颇丰。在这里记录一下自己的学习心得,希望对大家也有帮助。

永不止息 970

线程池简单笔记

线程池:其实就是一个容纳多个线程的容器,其中的线程可以反复使用,省去了频繁创建线程对象的操作,无需反复创建线程而消耗过多的资源合理利用线程池能够带来三个好处:1、降低资源消耗,减少了创建和销毁线程的次数,每一个工作线程都可以被反复利用,可以执行多个任务2、提高响应速度,当任务到达时,任务可以不需要等到线程创建就能立即执行3、提高线程的可管理性。可以根据系统的承受能力,调整线程池中的工作线的数目,防止因为消耗过多的内存而把服务器累趴下(每个程序大约需要1mb内存,线程开的越多,消耗的内存也就越大,最后死机)线

m0_62938286的博客 212
上一篇: Lock&Condition
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

搬砖工-->攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值