关于ThreadPool线程池的摘记

threadpool源码分析 threadpool是基于boost库实现的一个线程池子库,并没有纳入到boost库中,所以目前是在sourceforce开源的一个项目。至于为什么boost有pool库有thread库而没有threadpool,这个不太了解。但线程池实现起来不是很难,我看muduo也就花了100行代码就实现了,当然这是比较简单的,够用。那我们从threadpool中又能学到什么东西呢?首先,它是基于boost库实现的,如果大家对boost库有兴趣,看看一个简单的实现还是可以学到点东西的。其次,它的代码量不多,大概2k左右 阅读详情

转载地址:http://blog.youkuaiyun.com/cutesource/article/details/6061229

ThreadPoolExecutor运转机制详解

最近发现几起对ThreadPoolExecutor的误用,其中包括自己,发现都是因为没有仔细看注释和内部运转机制,想当然的揣测参数导致,先看一下新建一个ThreadPoolExecutor的构建参数:

[java]  view plain copy
  1. public ThreadPoolExecutor(int corePoolSize,  
  2.                           int maximumPoolSize,  
  3.                           long keepAliveTime,  
  4.                           TimeUnit unit,  
  5.                           BlockingQueue<Runnable> workQueue,  
  6.                           ThreadFactory threadFactory,  
  7.                           RejectedExecutionHandler handler)  

看这个参数很容易让人以为是线程池里保持corePoolSize个线程,如果不够用,就加线程入池直至maximumPoolSize大小,如果还不够就往workQueue里加,如果workQueue也不够就用RejectedExecutionHandler来做拒绝处理。

但实际情况不是这样,具体流程如下:

1)当池子大小小于corePoolSize就新建线程,并处理请求

2)当池子大小等于corePoolSize,把请求放入workQueue中,池子里的空闲线程就去从workQueue中取任务并处理

3)当workQueue放不下新入的任务时,新建线程入池,并处理请求,如果池子大小撑到了maximumPoolSize就用RejectedExecutionHandler来做拒绝处理

4)另外,当池子的线程数大于corePoolSize的时候,多余的线程会等待keepAliveTime长的时间,如果无请求可处理就自行销毁

内部结构如下所示:

从中可以发现ThreadPoolExecutor就是依靠BlockingQueue的阻塞机制来维持线程池,当池子里的线程无事可干的时候就通过workQueue.take()阻塞住。

其实可以通过Executes来学学几种特殊的ThreadPoolExecutor是如何构建的。

[java]  view plain copy
  1. public static ExecutorService newFixedThreadPool(int nThreads) {  
  2.     return new ThreadPoolExecutor(nThreads, nThreads,  
  3.                                   0L, TimeUnit.MILLISECONDS,  
  4.                                   new LinkedBlockingQueue<Runnable>());  
  5. }  

newFixedThreadPool就是一个固定大小的ThreadPool

[java]  view plain copy
  1. public static ExecutorService newCachedThreadPool() {  
  2.     return new ThreadPoolExecutor(0, Integer.MAX_VALUE,  
  3.                                   60L, TimeUnit.SECONDS,  
  4.                                   new SynchronousQueue<Runnable>());  
  5. }  

newCachedThreadPool比较适合没有固定大小并且比较快速就能完成的小任务,没必要维持一个Pool,这比直接new Thread来处理的好处是能在60秒内重用已创建的线程。

其他类型的ThreadPool看看构建参数再结合上面所说的特性就大致知道它的特性


http://victorzhzh.iteye.com/blog/1010359

ExecutorService生命周期

ExecutorService接口继承了Executor接口,定义了一些生命周期的方法

Java代码   收藏代码
  1. public interface ExecutorService extends Executor {  
  2. void shutdown();  
  3. List<Runnable> shutdownNow();  
  4. boolean isShutdown();  
  5. boolean isTerminated();  
  6. boolean awaitTermination(long timeout, TimeUnit unit)  
  7.         throws InterruptedException;  
  8. }  

本文,我们逐一分析里面的每个方法。

 

首先,我们需要创建一个任务代码,这段任务代码主要是随机生成含有10个字符的字符串

Java代码   收藏代码
  1. /** 
  2.  * 随机生成10个字符的字符串 
  3.  * @author dream-victor 
  4.  * 
  5.  */  
  6. public class Task1 implements Callable<String> {  
  7.   
  8.     @Override  
  9.     public String call() throws Exception {  
  10.         String base = "abcdefghijklmnopqrstuvwxyz0123456789";  
  11.         Random random = new Random();  
  12.         StringBuffer sb = new StringBuffer();  
  13.         for (int i = 0; i < 10; i++) {  
  14.             int number = random.nextInt(base.length());  
  15.             sb.append(base.charAt(number));  
  16.         }  
  17.         return sb.toString();  
  18.     }  
  19.   
  20. }  

 然后,我们还需要一个长任务,这里我们默认是沉睡10秒,

Java代码   收藏代码
  1. /** 
  2.  * 长时间任务 
  3.  *  
  4.  * @author dream-victor 
  5.  *  
  6.  */  
  7. public class LongTask implements Callable<String> {  
  8.   
  9.     @Override  
  10.     public String call() throws Exception {  
  11.         TimeUnit.SECONDS.sleep(10);  
  12.         return "success";  
  13.     }  
  14.   
  15. }  

OK,所有前期准备完毕,下面我们就来分析一下ExecutorService接口中和生命周期有关的这些方法:

 

1、shutdown方法:这个方法会平滑地关闭ExecutorService,当我们调用这个方法时,ExecutorService停止接受任何新的任务且等待已经提交的任务执行完成(已经提交的任务会分两类:一类是已经在执行的,另一类是还没有开始执行的),当所有已经提交的任务执行完毕后将会关闭ExecutorService。这里我们先不举例在下面举例。

 

2、awaitTermination方法:这个方法有两个参数,一个是timeout即超时时间,另一个是unit即时间单位。这个方法会使线程等待timeout时长,当超过timeout时间后,会监测ExecutorService是否已经关闭,若关闭则返回true,否则返回false。一般情况下会和shutdown方法组合使用。例如:

Java代码   收藏代码
  1. ExecutorService service = Executors.newFixedThreadPool(4);  
  2. service.submit(new Task1());  
  3. service.submit(new Task1());  
  4. service.submit(new LongTask());  
  5. service.submit(new Task1());  
  6.   
  7. service.shutdown();  
  8.   
  9. while (!service.awaitTermination(1, TimeUnit.SECONDS)) {  
  10.     System.out.println("线程池没有关闭");  
  11. }  
  12. System.out.println("线程池已经关闭");  

 这段代码中,我们在第三次提交了一个长任务,这个任务将执行10秒沉睡,紧跟着执行了一次shutdown()方法,假设:这时ExecutorService被立即关闭,下面调用service.awaitTermination(1, TimeUnit.SECONDS)方法时应该返回true,程序执行结果应该只会打印出:“线程池已经关闭”。但是,真实的运行结果如下:

Java代码   收藏代码
  1. 线程池没有关闭  
  2. 线程池没有关闭  
  3. 线程池没有关闭  
  4. 线程池没有关闭  
  5. 线程池没有关闭  
  6. 线程池没有关闭  
  7. 线程池没有关闭  
  8. 线程池没有关闭  
  9. 线程池没有关闭  
  10. 线程池已经关闭  

 这说明我们假设错误,service.awaitTermination(1, TimeUnit.SECONDS)每隔一秒监测一次ExecutorService的关闭情况,而长任务正好需要执行10秒,因此会在前9秒监测时ExecutorService为未关闭状态,而在第10秒时已经关闭,因此第10秒时输出:线程池已经关闭。这也验证了shutdown方法关闭ExecutorService的条件。

 

3、shutdownNow方法:这个方法会强制关闭ExecutorService,它将取消所有运行中的任务和在工作队列中等待的任务,这个方法返回一个List列表,列表中返回的是等待在工作队列中的任务。例如:

Java代码   收藏代码
  1. ExecutorService service = Executors.newFixedThreadPool(3);  
  2. service.submit(new LongTask());  
  3. service.submit(new LongTask());  
  4. service.submit(new LongTask());  
  5. service.submit(new LongTask());  
  6. service.submit(new LongTask());  
  7.   
  8. List<Runnable> runnables = service.shutdownNow();  
  9. System.out.println(runnables.size());  
  10.   
  11. while (!service.awaitTermination(1, TimeUnit.MILLISECONDS)) {  
  12.     System.out.println("线程池没有关闭");  
  13. }  
  14. System.out.println("线程池已经关闭");  

 这段代码中,我们限制了线程池的长度是3,提交了5个任务,这样将有两个任务在工作队列中等待,当我们执行shutdownNow方法时,ExecutorService被立刻关闭,所以在service.awaitTermination(1, TimeUnit.MILLISECONDS)方法校验时返回的是true,因此没有输出:线程池没有关闭。而在调用shutdownNow方法时,我们接受到了一个List,这里包含的是在工作队列中等待执行的任务,由于线程池长度为3,且执行的都是长任务,所以当提交了三个任务后线程池已经满了,剩下的两次提交只能在工作队列中等待,因此我们看到runnables的大小为2,结果如下:

Java代码   收藏代码
  1. 2  
  2. 线程池已经关闭  
 

4、isTerminated方法:这个方法会校验ExecutorService当前的状态是否为“TERMINATED”即关闭状态,当为“TERMINATED”时返回true否则返回false。例如:

Java代码   收藏代码
  1. ExecutorService service = Executors.newFixedThreadPool(3);  
  2. service.submit(new Task1());  
  3. service.submit(new Task1());  
  4. service.submit(new LongTask());  
  5.   
  6. service.shutdown();  
  7. System.out.println(System.currentTimeMillis());  
  8. while (!service.isTerminated()) {  
  9. }  
  10. System.out.println(System.currentTimeMillis());  

这段代码我们执行了两个正常的任务和一个长任务,然后调用了shutdown方法,我们知道调用shutdown方法并不会立即关闭ExecutorService,这时我们记录一下监测循环执行前的时间,在没有关闭前我们一直进入一个空循环中,直到 ExecutorService关闭后退出循环,这里我们知道长任务执行时间大约为10秒,我们看一下上述程序运行结果:

Java代码   收藏代码
  1. 1303298818621  
  2. 1303298828634  
  3. 相差:10013毫秒,转换一下除以1000,得到相差大约10秒  

这10秒正好是长任务执行的时间,因此在 ExecutorService正常关闭后isTerminated方法返回true。

 

5、isShutdown方法:这个方法在ExecutorService关闭后返回true,否则返回false。方法比较简单不再举例。

以上讨论是基于ThreadPoolExecutor的实现,不同的实现会有所不同需注意。


c++ thread pool 使用解析 基于boost::threadpool,boost::thread_group和io_service,c++11 实现的线程池全面解析 阅读详情

相关推荐

ThreadPool:一个简单的C ++线程池实现

C ++中的线程池 描述 这是C ++中的简单ThreadPool实现。 此实现提供以下功能: 每个池实例的可配置线程数。 动态线程数修改SetThreadCount(size_t) 两种ThreadPool停止模式:同步和异步 main.cpp提供了使用此ThreadPool的示例代码。 ##内容 Makefile :用于编译库的makefile main.cpp :使用此ThreadPool库的示例代码 Task.h :将由线程执行的任务的抽象接口 ThreadPoolTask.cpp :threadPool库的实现 ThreadPoolTask.h :threadPool库的API ##要求 Boost 1.48.0(用于boost :: functions) GNU Make 3.81或更高版本 G ++ 4.7.2

boost之ThreadPool

threadpool是基于boost库实现的一个线程池子库,但线程池实现起来不是很复杂。我们从threadpool中又能学到什么东西呢? 它是基于boost库实现的,如果大家对boost库有兴趣,看看一个简单的实现还是可以学到点东西的。 threadpool基本功能 1、任务封装,包括普通任务(task_func)和优先级任务(prio_task_func)。 2、调度策略,包括fifo_...

javasogo 900

boost threadpool(修复内存泄露后的版本)

boost threadpool-0_2_5-src ,修复内存泄露后的版本 boost threadpool-0_2_5-src ,修复内存泄露后的版本

简单使用Boost线程池threadpool

场景: 1.在一些多线程的程序中,比如服务端响应请求时,可以同时响应多个客户端的请求,但是响应请求的个数(即线程)的个数过多的话就会造成系统资源损耗过多而宕机,还比在做一些下载的程序时,可同时开5个下载任务,对应的其实就是线程。但是最多线程是有上限的,而且每次创建线程和销毁线程都会大量损耗资源和时间。所以解决办法之一就是使用线程池控制线程个数,复用创建过的线程。 threadpool直

liujiayu2的专栏 1万+

采用boost内存数据库技术和线程池技术开发的内存池技术,支持内存回收,碎片合并

采用boost内存数据库技术和线程池技术开发的内存池技术,支持内存回收,碎片合并

Elsevier投稿实战:从ESWA模板到录用通知的全流程拆解

本文详细拆解了Elsevier旗下期刊ESWA(Expert Systems With Applications)的投稿全流程,从模板选择、投稿系统操作到审稿意见回复和录用后注意事项。重点分享了单栏LaTeX模板调整、APA文献格式处理、Highlights撰写技巧等实战经验,帮助研究者高效完成投稿并提升录用概率。

weixin_32715349的博客 247

C++ Boost ThreadPool 线程池

线程池管理一组线程,以便处理大量任务。由于多个线程可以并行执行,因此这种方法对于许多计算机系统上的整体程序性能可能是非常有效的。通过限制线程的数量并重用它们,节省了资源,此外还提高了系统的稳定性。ThreadPool 线程池是一个跨平台的C++库。一般来说,线程池是在同一进程中进行异步任务处理的有效机制。他们意识到线程池模式。默认的Boost框架中支持多线程操作,但是并不支持线程池,我们可以下载一个boost::threadpool来让其支持线程池.池可以自定义、动态管理,并且可以轻松地集成到您的软件中。

微软技术分享 1万+

Avalonia 项目结构说明

Avalonia UI

bjxingch的博客 1273

boost创建线程池_使用boost实现线程池thread pool | boost thread pool example

boost thread pool exampleGuideboost thread pool example with cpp codecode example#include //std::cout std::endl#include //std::thread#include //std::future std::promise#include //...

weixin_29737443的博客 524

完整IC设计流程解析&Makefile学习

本文介绍了decorder38项目的文件结构、自动化综合流程和Makefile使用方法。项目包含RTL到GDSII全流程文件,重点关注syn目录中的综合脚本。通过make dc命令运行综合流程,生成网表、约束和时序文件。关键报告如qor.rpt、area.rpt和min_vio.rpt用于分析综合质量、面积和时序。Makefile部分解释了其基本语法、IC设计中的典型结构,包括目标定义、命令执行和特殊声明,强调了其在自动化构建和依赖管理中的重要性。

m0_63352623的博客 856

提示deepseek生成完整的json用于对接外部API

通过精准的提示词设计(字段过滤、格式约束)、动态验证机制(自检与修正)和官方模板参考,可有效确保DeepSeek生成的JSON纯净无冗余。

神棍之路 2309

boost之第三方线程池

其是模板类,支持future,下载地址为。

多看多听多总结 1115

后仿真中的必懂VCS仿真选项之initreg和deposit

后仿真中,我们常常对于没有复位寄存器和存储器单元,使用仿真选项之initreg和deposit,两种处理方式。今天做总结。请注意:请勿将两者进行同时使用。对于到底选取哪种方式,要结合实际的情况决断。但是,两者同时使用,会有冲突,得不到预期结果。

那么菜的博客 4332

c++11:线程池,boost threadpool、thread_group example

这里介绍一下boost两种线程池的使用,以及C++11实现线程池。 1 boost::threadpool 最新版本boost Header:boost/asio/thread_pool.hpp Convenience header:boost/asio.hpp void my_task() { ... } ... // Launch the pool with four...

zzhongcy的专栏 1万+

基于ArduPilot的旋翼式无人机飞行器开发系列(二,学习路线)

一,热爱 作为一名耿直的技术男,在这里我只想说一句,热爱是可持续学习的第一要素,也只有热爱才能让你坚持到最后。 至于最后能得到什么,只有你自己知道。常说书中自有颜如玉,书中自有黄金屋。如果你是为了颜如玉,我相信大多数颜如玉做不了你的红颜知己。如果是为了黄金屋,当你持续投入时间和金钱却看不到回报的时候,相信退堂鼓早已隆隆作响。 我给自己的信条就是为当下努力工作,为将来持续学习。当前飞控行业并没有爆发,如果想赚块钱,去互联网汽车,去VR/AR吧,去元宇宙吧。 那么我热爱...

从0到1,突破自己 1672

Unity零基础到进阶 | Unity中的内存泄漏全解析,原因、排查及避免

Unity 内存泄漏并非传统C++语境中的野指针或未释放堆内存,而是基于其「托管内存(C#)+ 原生内存(引擎/非托管)」双架构的特殊问题——即已废弃、不再被业务逻辑使用的内存块,无法被引擎或系统自动回收,持续占用内存空间,最终引发内存暴涨、GC卡顿、OOM(内存溢出)崩溃,其中移动端、主机端受影响最显著。 Unity 内存主要分为三类,其中泄漏仅发生在前两类,栈内存因系统自动分配/释放,无泄漏风险:

努力前行,总会成为自己心中的那道光 1万+

使用boost线程池

boost threadpool库下载链接https://github.com/CppPeng/threadpool,boost库无须编译可以直接使用 在使用过程中可能会报error C2065: 'TIME_UTC' : undeclared identifier错误 解决方案参考https://github.com/vpython/visual/issues/3 #include &lt...

vc_newer_and_newer的博客 603

44位abogus补环境与纯算逆向分析

44位ab参数补环境与纯算加密流程逆向分析

吴秋霖的博客 2789

boost创建线程池_boost线程池

I need a threadpool for my application, and I'd like to rely on standard (C++11 or boost) stuff as much as possible. I realize there is an unofficial(!) boost thread pool class, which basically solves...

weixin_26907223的博客 482

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

boost::threadpool线程池使用实例

前言: 什么是多线程?比如在做一些下载的程序时,同时开启5个下载任务,对应的其实就是多线程。在一些多线程的程序中,响应请求的个数(即线程)的个数过多的话就会造成系统资源损耗过多而宕机,一般最多线程是有上限的,而且每次创建线程和销毁线程都会大量损耗资源和时间。所以解决办法之一就是使用线程池控制线程个数,复用创建过的线程。线程池可以减少创建和切换线程的额外开销,利用已经存在的线程多次循环执行

qingzai_的专栏 2万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

33-C++ Boost ThreadPool 线程池

线程池管理一组线程,以便处理大量任务。由于多个线程可以并行执行,因此这种方法对于许多计算机系统上的整体程序性能可能是非常有效的。通过限制线程的数量并重用它们,节省了资源,此外还提高了系统的稳定性。ThreadPool 线程池是一个跨平台的C++库。一般来说,线程池是在同一进程中进行异步任务处理的有效机制。他们意识到线程池模式。框架中支持多线程操作,但是并不支持线程池,我们可以下载一个boost::threadpool来让其支持线程池.池可以自定义、动态管理,并且可以轻松地集成到您的软件中。

成长需要沉淀。 782

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

boost库的thread_pool学习

一、boost库版本 Version 1.69.0 二、boost库安装 下载源码boost_1_69_0.tar.bz2 解压安装: ./bootstrap.sh; ./b2 install 三、牛刀小试 #include &lt;stdio.h&gt; #include &lt;string.h&gt; #include &lt;iostream&gt; #include ...

dyingfair的专栏 2516

使用Boost ASIO的线程池?

转 https://cloud.tencent.com/developer/ask/41090 试图使用Boost: #include &lt;boost/asio.hpp&gt; #include &lt;iostream&gt; #include &lt;boost/thread/thread.hpp&gt; #include &lt;boost/bind.hpp&gt; #includ...

youtherzhang的博客 3651
上一篇: 程序猿12个人艰不拆的真相
下一篇: 关于github上开源nineoldandroids兼容动画的笔记
fancylovejava
博客等级 码龄16年 1052粉丝 184原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值