java并发编程之ThreadPoolExecutor

关注

转载最新推荐文章于 2026-06-25 19:38:39 发布 989 阅读 AI 写同款· GEO 优化 ›

记一次java for循环改造多线程的操作今天在开发质量平台时需要获取某些数据，要请求公司某个工程的OpenAPI接口A。此接口为返回通用数据的接口，且接口本身的RT都在2～3秒之间。使用该接口，需要进行两次循环获取，然后对返回数据进行处理组装，才能得到我这边工程需要的数据。在最开始的时候，我天真的写了两层循环，外层循环为一星期的每一天，内层循环为选取的几个版本号。结果发现整个请求过程（请求接口B和C获取版本相关数据->两层循环请求接口A->数据过滤筛选->数据组装排序）下来，响应时间来到了恐怖的2分钟（🤔要被领导骂死了）阅读详情

包 java.util.concurrent.*
[ 一 ]、常用线程池

最常用构造方法为：

ThreadPoolExecutor(int corePoolSize,
                   int maximumPoolSize,
                   long keepAliveTime,
                   TimeUnit unit,
                   BlockingQueue<Runnable> workQueue,

　　 ThreadFactory threadFactory,

RejectedExecutionHandler handler)

JDK自带的配置好的线程池：

        // 固定工作线程数量的线程池
        ExecutorService executorService1 = Executors.newFixedThreadPool(3);

        // 一个可缓存的线程池
        ExecutorService executorService2 = Executors.newCachedThreadPool();

        // 单线程化的Executor
        ExecutorService executorService3 = Executors.newSingleThreadExecutor();

        // 支持定时的以及周期性的任务执行
        ExecutorService executorService4 = Executors.newScheduledThreadPool(3);
这些预定义好的线程池服务也是基于ThreadPoolExecutor配置的，所以我们应该从最基本的参数着手了解，如下：

参数详细说明：
[ 1 ]、corePoolSize：线程池维护线程的最少数量
[ 2 ]、maximumPoolSize：线程池维护线程的最大数量
[ 3 ]、keepAliveTime：线程池维护线程所允许的空闲时间
[ 4 ]、unit：线程池维护线程所允许的空闲时间的单位，unit可选的参数为java.util.concurrent.TimeUnit中的几个静态属性：

NANOSECONDS
MICROSECONDS
MILLISECONDS
SECONDS

[ 5]、 workQueue：线程池所使用的缓冲队列，常用的是：java.util.concurrent.ArrayBlockingQueue

[6 ] threadFactory 负责给线程池创建线程的工厂。线程池中的线程是由ThreadFactory创建。如果不特别指定，会使用Executors.defaultThreadFactory创建位于同一个线程组，相同优先级（NORM_PRIORITY）的非守护线程。如果由你来指定ThreadFactory，你可以定制线程名字，线程组，优先级，是否为守护线程等属性。
[ 7 ]、 handler：线程池对拒绝任务的处理策略，有四个选择如下：

ThreadPoolExecutor.AbortPolicy()：抛出java.util.concurrent.RejectedExecutionException异常
ThreadPoolExecutor.CallerRunsPolicy()：重试添加当前的任务，他会自动重复调用execute()方法
ThreadPoolExecutor.DiscardOldestPolicy()：抛弃旧的任务
ThreadPoolExecutor.DiscardPolicy()：抛弃当前的任务

[ 二 ]、详细说明
[ 1 ]、当一个任务通过execute(Runnable)方法欲添加到线程池时：

- 如果此时线程池中的数量小于corePoolSize，即使线程池中的线程都处于空闲状态，也要创建新的线程来处理被添加的任务。
- 如果此时线程池中的数量等于 corePoolSize，但是缓冲队列 workQueue未满，那么任务被放入缓冲队列。
- 如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量小于maximumPoolSize，建新的线程来处理被添加的任务。
- 如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量等于 maximumPoolSize，那么通过 handler所指定的策略来处理此任务。也就是：处理任务的优先级为：核心线程corePoolSize、任务队列workQueue、最大线程 maximumPoolSize，如果三者都满了，使用handler处理被拒绝的任务。
- 当线程池中的线程数量大于 corePoolSize时，如果某线程空闲时间超过keepAliveTime，线程将被终止。这样，线程池可以动态的调整池中的线程数。

ThreadPoolExecutor的工作机制:

整个ThreadPoolExecutor的任务处理有4步操作：

第一步，初始的poolSize < corePoolSize，提交的runnable任务，会直接做为new一个Thread的参数，立马执行
第二步，当提交的任务数超过了corePoolSize，就进入了第二步操作。会将当前的runable提交到一个block queue中
第三步，如果block queue是个有界队列，当队列满了之后就进入了第三步。如果poolSize < maximumPoolsize时，会尝试new 一个Thread的进行救急处理，立马执行对应的runnable任务
第四步，如果第三步救急方案也无法处理了，就会走到第四步执行reject操作。

几点说明：(相信这些网上一搜一大把，我这里简单介绍下，为后面做一下铺垫)

block queue有以下几种实现：
1. ArrayBlockingQueue : 有界的数组队列
2. LinkedBlockingQueue : 可支持有界/无界的队列，使用链表实现
3. PriorityBlockingQueue : 优先队列，可以针对任务排序
4. SynchronousQueue : 队列长度为1的队列，和Array有点区别就是：client thread提交到block queue会是一个阻塞过程，直到有一个worker thread连接上来poll task。
RejectExecutionHandler是针对任务无法处理时的一些自保护处理：
1. Reject 直接抛出Reject exception
2. Discard 直接忽略该runnable，不可取
3. DiscardOldest 丢弃最早入队列的的任务
4. CallsRun 直接让原先的client thread做为worker线程，进行执行

容易被人忽略的点：

1. pool threads启动后，以后的任务获取都会通过block queue中，获取堆积的runnable task.

所以建议： block size >= corePoolSize ，不然线程池就没任何意义

2. corePoolSize 和 maximumPoolSize的区别，和大家正常理解的数据库连接池不太一样。

* 据dbcp pool为例，会有minIdle , maxActive配置。minIdle代表是常驻内存中的threads数量，maxActive代表是工作的最大线程数。

* 这里的corePoolSize就是连接池的maxActive的概念，它没有minIdle的概念(每个线程可以设置keepAliveTime，超过多少时间多有任务后销毁线程，但不会固定保持一定数量的threads)。

* 这里的maximumPoolSize，是一种救急措施的第一层。当threadPoolExecutor的工作threads存在满负荷，并且block queue队列也满了，这时代表接近崩溃边缘。这时允许临时起一批threads，用来处理runnable，处理完后立马退出。

所以建议： maximumPoolSize >= corePoolSize =期望的最大线程数。 (我曾经配置了corePoolSize=1, maximumPoolSize=20, blockqueue为无界队列，最后就成了单线程工作的pool。典型的配置错误)

3. 善用blockqueue和reject组合. 这里要重点推荐下CallsRun的Rejected Handler，从字面意思就是让调用者自己来运行。

我们经常会在线上使用一些线程池做异步处理，比如我前面做的 (业务层)异步并行加载技术分析和设计, 将原本串行的请求都变为了并行操作，但过多的并行会增加系统的负载(比如软中断，上下文切换)。所以肯定需要对线程池做一个size限制。但是为了引入异步操作后，避免因在block queue的等待时间过长，所以需要在队列满的时，执行一个callsRun的策略，并行的操作又转为一个串行处理，这样就可以保证尽量少的延迟影响。

所以建议： RejectExecutionHandler = CallsRun , blockqueue size = 2 * poolSize (为啥是2倍poolSize，主要一个考虑就是瞬间高峰处理，允许一个thread等待一个runnable任务)

参考:http://www.iteye.com/topic/1118660

http://blog.youkuaiyun.com/waterbig/article/details/4794244

http://rdc.taobao.com/team/jm/archives/595