ThreadPoolExecutor-线程池如何从队列里面取线程?

本文深入剖析线程池的工作原理,重点讲解ThreadPoolExecutor如何通过execute方法调度任务,包括线程创建、任务分配及线程池状态管理。通过源码解读,揭示线程池内部的Worker类作用及任务获取机制。

线程池执行线程调用方法是ThreadPoolExecutor.execute(Runnable command)。

查看execute的源码:

public void execute(Runnable command) {
    if (command == null)
        throw new NullPointerException();
    int c = ctl.get();
    if (workerCountOf(c) < corePoolSize) {
        if (addWorker(command, true))
            return;
        c = ctl.get();
    }
    if (isRunning(c) && workQueue.offer(command)) {
        int recheck = ctl.get();
        if (! isRunning(recheck) && remove(command))
            reject(command);
        else if (workerCountOf(recheck) == 0)
            addWorker(null, false);
    }
    else if (!addWorker(command, false))
        reject(command);
}

 

其中有个addWorker(),继续跟进:

 

private boolean addWorker(Runnable firstTask, boolean core) {
    retry:
    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // Check if queue empty only if necessary.
        if (rs >= SHUTDOWN &&
            ! (rs == SHUTDOWN &&
               firstTask == null &&
               ! workQueue.isEmpty()))
            return false;

        for (;;) {
            int wc = workerCountOf(c);
            if (wc >= CAPACITY ||
                wc >= (core ? corePoolSize : maximumPoolSize))
                return false;
            if (compareAndIncrementWorkerCount(c))
                break retry;
            c = ctl.get();  // Re-read ctl
            if (runStateOf(c) != rs)
                continue retry;
            // else CAS failed due to workerCount change; retry inner loop
        }
    }

    boolean workerStarted = false;
    boolean workerAdded = false;
    Worker w = null;
    try {
        w = new Worker(firstTask);
        final Thread t = w.thread;
        if (t != null) {
            final ReentrantLock mainLock = this.mainLock;
            mainLock.lock();
            try {
                // Recheck while holding lock.
                // Back out on ThreadFactory failure or if
                // shut down before lock acquired.
                int rs = runStateOf(ctl.get());

                if (rs < SHUTDOWN ||
                    (rs == SHUTDOWN && firstTask == null)) {
                    if (t.isAlive()) // precheck that t is startable
                        throw new IllegalThreadStateException();
                    workers.add(w);
                    int s = workers.size();
                    if (s > largestPoolSize)
                        largestPoolSize = s;
                    workerAdded = true;
                }
            } finally {
                mainLock.unlock();
            }
            if (workerAdded) {
                t.start();
                workerStarted = true;
            }
        }
    } finally {
        if (! workerStarted)
            addWorkerFailed(w);
    }
    return workerStarted;
}

可以看到,传进的参数firstTask作为一个参数构造Worker后,又从Worker对象中找到取了了线程去执行。

我看看下Worker的构造方法:

 

Worker(Runnable firstTask) {
    setState(-1); // inhibit interrupts until runWorker
    this.firstTask = firstTask;
    this.thread = getThreadFactory().newThread(this);
}

Worker的定义,继承了Runnable,也就是说它本身就是个线程。,说明它是可被线程驱动执行的任务。

 

private final class Worker
    extends AbstractQueuedSynchronizer
    implements Runnable

构造方法里,thread变量构造的线程是它本身。

也就是说,最终执行的是Worker类的run方法。

看run方法:

public void run() {
    runWorker(this);
}
final void runWorker(Worker w) {
    Thread wt = Thread.currentThread();
    Runnable task = w.firstTask;
    w.firstTask = null;
    w.unlock(); // allow interrupts
    boolean completedAbruptly = true;
    try {
        while (task != null || (task = getTask()) != null) {
            w.lock();
            // If pool is stopping, ensure thread is interrupted;
            // if not, ensure thread is not interrupted.  This
            // requires a recheck in second case to deal with
            // shutdownNow race while clearing interrupt
            if ((runStateAtLeast(ctl.get(), STOP) ||
                 (Thread.interrupted() &&
                  runStateAtLeast(ctl.get(), STOP))) &&
                !wt.isInterrupted())
                wt.interrupt();
            try {
                beforeExecute(wt, task);
                Throwable thrown = null;
                try {
                    task.run();
                } catch (RuntimeException x) {
                    thrown = x; throw x;
                } catch (Error x) {
                    thrown = x; throw x;
                } catch (Throwable x) {
                    thrown = x; throw new Error(x);
                } finally {
                    afterExecute(task, thrown);
                }
            } finally {
                task = null;
                w.completedTasks++;
                w.unlock();
            }
        }
        completedAbruptly = false;
    } finally {
        processWorkerExit(w, completedAbruptly);
    }
}

我们看到,其中有一个执行:task = getTask()

private Runnable getTask() {
    boolean timedOut = false; // Did the last poll() time out?

    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // Check if queue empty only if necessary.
        if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
            decrementWorkerCount();
            return null;
        }

        int wc = workerCountOf(c);

        // Are workers subject to culling?
        boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;

        if ((wc > maximumPoolSize || (timed && timedOut))
            && (wc > 1 || workQueue.isEmpty())) {
            if (compareAndDecrementWorkerCount(c))
                return null;
            continue;
        }

        try {
            Runnable r = timed ?
                workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                workQueue.take();
            if (r != null)
                return r;
            timedOut = true;
        } catch (InterruptedException retry) {
            timedOut = false;
        }
    }
}

这个方法就是在从队列里面取线程:workQueue.tack()。这个方法是阻塞的,如果取不到会一直等着,知道直到队列里面放入了新的线程。

 

 

<think>我们正在讨论ThreadPoolExecutor线程池核心组件。根据用户提供的引用[1]和[2],我们可以知道ThreadPoolExecutor是Java中用于管理线程池核心类,它通过线程复用和任务队列的机制来高效处理任务。用户现在想了解ThreadPoolExecutor线程池核心组件有哪些。 ThreadPoolExecutor核心组件包括: 1. 任务队列(BlockingQueue<Runnable>):用于存放提交的任务,当线程池中的线程都在忙碌时,新任务会进入队列等待。 2. 线程集合(Worker集合):实际执行任务的线程,每个Worker是一个可重复使用的线程,用于执行任务。 3. 核心线程数(corePoolSize):线程池中保持活动状态的最小线程数,即使它们处于空闲状态。 4. 最大线程数(maximumPoolSize):线程池允许创建的最大线程数。 5. 线程工厂(ThreadFactory):用于创建新线程的工厂。 6. 拒绝策略(RejectedExecutionHandler):当任务队列已满且线程数达到最大值时,如何处理新提交的任务。 7. 空闲线程存活时间(keepAliveTime):非核心线程在空闲状态下的存活时间。 此外,引用[2]中提到,线程池的工作流程中会判断线程池是否为空(即没有工作线程),如果为空则添加非核心线程,这是为了兼容没有核心线程线程池(如CachedThreadPool)。 下面,我们将详细解释这些核心组件,并适当引用提供的资料。</think>### ThreadPoolExecutor线程池核心组件详解 ThreadPoolExecutor是Java线程池核心实现类,其核心组件构成如下(基于Java 17设计): --- #### 1. **任务队列(Work Queue)** - **作用**:存储待执行任务 - **实现类型**: ```java BlockingQueue<Runnable> workQueue; ``` - `ArrayBlockingQueue`:有界队列(需指定容量) - `LinkedBlockingQueue`:无界队列(默认`Integer.MAX_VALUE`) - `SynchronousQueue`:直接传递队列(CachedThreadPool使用) - `PriorityBlockingQueue`:优先级队列 > **关键机制**:当核心线程全忙时,新任务入队等待[^1] --- #### 2. **线程工作集(Worker Set)** - **数据结构**: ```java private final HashSet<Worker> workers = new HashSet<>(); ``` - **Worker内部结构**: ```java private final class Worker extends AbstractQueuedSynchronizer implements Runnable { final Thread thread; // 实际执行线程 Runnable firstTask; // 初始任务 volatile long completedTasks; // 完成任务计数 } ``` > **执行流程**:Worker启动后循环从队列任务执行[^2] --- #### 3. **线程数量控制器** | **参数** | **作用** | **默认规则** | |------------------|-----------------------------------|------------------------------| | `corePoolSize` | 核心线程数 | 即使空闲也保留 | | `maximumPoolSize`| 最大线程数 | 队列满时创建新线程上限 | | `keepAliveTime` | 非核心线程空闲存活时间 | 超时自动回收(单位:纳秒) | > **特殊设计**:`corePoolSize=0`时(如CachedThreadPool),首个任务直接创建非核心线程[^2] --- #### 4. **线程工厂(ThreadFactory)** - **职责**:定制线程创建过程 - **标准实现**: ```java private static class DefaultThreadFactory implements ThreadFactory { public Thread newThread(Runnable r) { Thread t = new Thread(group, r, namePrefix + threadNumber.getAndIncrement(), 0); t.setDaemon(false); t.setPriority(Thread.NORM_PRIORITY); return t; } } ``` > **定制场景**:设置线程名/优先级/守护线程--- #### 5. **拒绝策略(RejectedExecutionHandler)** | **策略** | **行为** | |-------------------------|-----------------------------------| | `AbortPolicy`(默认) | 抛出RejectedExecutionException | | `CallerRunsPolicy` | 由提交任务的线程直接执行 | | `DiscardPolicy` | 静默丢弃任务 | | `DiscardOldestPolicy` | 丢弃队列头任务并重试 | > **触发条件**:当`工作线程=maxPoolSize`且队列满时[^1] --- #### 6. **线程池状态机** ```java // 状态存储在一个AtomicInteger中 private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0)); // 状态定义 private static final int RUNNING = -1 << COUNT_BITS; // 接收新任务 private static final int SHUTDOWN = 0 << COUNT_BITS; // 不接新任务,处理队列任务 private static final int STOP = 1 << COUNT_BITS; // 中断所有任务 private static final int TIDYING = 2 << COUNT_BITS; // 所有任务终止 private static final int TERMINATED = 3 << COUNT_BITS; // terminated()已执行 ``` > **状态转换**:RUNNING → SHUTDOWN → STOP → TIDYING → TERMINATED --- ### 组件协同工作流程 1. 提交任务时,优先创建核心线程执行 2. 核心线程满时,任务进入工作队列 3. **队列满时**创建非核心线程(不超过maxPoolSize) 4. 达到maxPoolSize且队列满时触发拒绝策略 5. 非核心线程空闲超过keepAliveTime后被回收 ```mermaid graph TD A[提交任务] --> B{核心线程 < corePoolSize?} B -->|是| C[创建核心线程执行] B -->|否| D{任务队列未满?} D -->|是| E[任务入队等待] D -->|否| F{工作线程 < maxPoolSize?} F -->|是| G[创建非核心线程执行] F -->|否| H[执行拒绝策略] ``` > **设计要点**:核心线程永不回收(除非`allowCoreThreadTimeOut(true)`)[^1] --- ### 相关问题 1. **如何选择合适的任务队列类型?** (有界队列 vs 无界队列性能对比) 2. **线程池状态转换的具体触发条件是什么?** (SHUTDOWN和STOP命令的差异分析) 3. **自定义拒绝策略有哪些最佳实践?** (结合MQ实现任务持久化方案) 4. **为什么Worker要继承AQS?** (线程中断控制与锁机制解析) 5. **如何监控线程池的关键指标?** (completedTaskCount/activeCount等API使用) [^1]: 线程池核心参数详解与避坑指南 [^2]: ThreadPoolExecutor工作原理解析
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值