线程池原理

目录

属性

核心属性

阻塞队列

饱和策略 

状态属性

状态分类

状态转换

新增任务

处理流程

对于核心线程

进阶 

合理配置线程池 

任务的性质

任务的优先级

任务的执行时间

任务的依赖性 

建议使用有界队列 

线程池分类 

FixThreadPool 

SingleThreadExecutor 

CachedThreadPool

ScheduledThreadPool 

WorkStealingPool 


属性

核心属性

  1. int corePoolSize:核心线程数量
  2. int maximumPoolSzie:最大线程数量
  3. long keepAliveTime:非核心线程的最大空闲等待时间
  4. boolean allowCoreThreadTimeOut:核心线程也使用最大空闲等待时间;默认 false
  5. BlockingQueue<Runnable> workQueue:任务队列
  6. ThreadFactory threadFactory:线程工厂;所有线程都使用此工厂创建
  7. RejectedExecutionHandler handler:拒绝策略;线程数达到上限,任务队列已满,对新提交的任务采取的策略

阻塞队列

有界:

  • ArrayBlockingQueue:由数组组成的有界阻塞队列;按插入顺序排序;默认不公平访问
  • LinkedBlockingQueue:由链表组成的有界阻塞队列;按插入顺序排序。
  • SynchronousQueue:不存储元素的阻塞队列;每个插入操作,必须等到另一个线程调用移除操作,否则一直阻塞

无界:

  • PriorityQueue:支持优先级排序的无界阻塞队列;不保证同优先级元素排序,可自行重写比较器
  • DelayQueue:使用优先级队列实现的无界阻塞队列,可实现任务定时执行;缓存系统设计(保存缓存有效期)
  • LinkedTransferQueue:由链表组成的无界阻塞队列。
  • LinkedBlockingDeque:由链表组成的无界双向阻塞队列。

饱和策略 

  • AbortPolicy:直接抛出异常
  • CallerRunsPolicy:直接用调用者线程执行任务
  • DiscardOldestPolicy:丢弃队列中最早元素,并尝试插入,失败则不断重试
  • DiscardPolicy:不处理,直接丢弃

状态属性

状态分类

  • RUNNING:能接受新的任务,并且能处理阻塞队列中的任务。
  • SHUTDOWN:不再接受新任务,但是能处理阻塞队列中的任务。
  • STOP:不再接受新的任务,也不再处理阻塞队列中的任务。
  • TIDYING:所有任务都已终止
  • TERMINATED:默认是什么都不做,只是一个标识

状态转换

新增任务

处理流程

对于核心线程

  • 并没有真正意义上的核心线程,只是一个数量的概念
  • 对外而言存在核心线程,底层其实没有实现,所有线程都是同等的。
  • 当前线程获取任务时,工作线程数量 <= 核心线程数量,则它就是核心线程;否则它不是核心线程。
// 线程获取任务
private Runnable getTask() {
    // 当前线程上次获取任务是否超时
    boolean timedOut = false; 

    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // 线程池已不再接受新任务,并且不再处理队列中任务或者队列为空
        if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
            // 当前线程可以销毁
            decrementWorkerCount();
            return null;
        }

        // 获取当前工作线程数量
        int wc = workerCountOf(c);

        // 核心线程允许超时销毁 || 当前线程数 > 核心线程数
        boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
        
        // 当前线程是否满足销毁条件:1.工作线程数量 2.核心线程是否可销毁
        // ⭐⭐⭐没有对线程进行特殊判断(是否为核心线程)
        // ⭐⭐⭐对外而言存在核心线程,底层其实所有线程都同等。
        if ((wc > maximumPoolSize || (timed && timedOut))
            && (wc > 1 || workQueue.isEmpty())) {
            if (compareAndDecrementWorkerCount(c))
                return null;
            continue;
        }

        // 从阻塞队列获取新任务
        try {
            // 是否需要超时获取
            Runnable r = timed ?
                workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                workQueue.take();
            if (r != null)
                return r;
            timedOut = true;
        } catch (InterruptedException retry) {
            timedOut = false;
        }
    }
}

进阶 

合理配置线程池 

任务的性质

  1. CPU 密集型任务需要消耗大量 CPU 资源的任务,解压、解密、计算;大部分线程都需要使用 CPU 资源,线程设置过多,会频繁出现上下文切换,影响性能;CPU + 1
  2. IO 密集型任务MySQL、文件读写、网络传输;线程等待 IO 时,不需要 CPU 计算,可以让出 CPU,假如线程设置过少,CPU 资源不能得到充分利用;CPU * 2
  3. 混合型任务:假如两任务执行时间相差不大,将任务拆分成 CPU 密集型、IO 密集型,吞吐量高于直接串行;假如执行时间相差太大,则直接串行。

线程数 = CPU 核心数 * (1 + IO 耗时 / CPU 耗时)

任务的优先级

使用优先级队列处理。 

任务的执行时间

  1. 可使用优先队列。 
  2. 平均工作时间(使用 CPU)占比越高,线程数则越少。
  3. 平均等待时间(IO 等)占比越高,线程数则越多,充分利用 CPU 资源。

任务的依赖性 

是否依赖其他系统资源,如数据库连接;提交 SQL 后需要等待,此时不需要 CPU 计算,应该设置大线程数,充分利用 CPU 资源。 

建议使用有界队列 

有界队列能增加系统的稳定性和预警能力,可以根据需求设大一些,但是不建议使用无界。 

无界队列,可能导致内存被撑满,使得整个系统不可用。

线程池分类 

FixThreadPool 

public static ExecutorService newFixedThreadPool(int nThreads) {
    return new ThreadPoolExecutor(nThreads, nThreads,
                                  0L, TimeUnit.MILLISECONDS,
                                  new LinkedBlockingQueue<Runnable>());
}
// 无界
public LinkedBlockingQueue() {
    this(Integer.MAX_VALUE);
}

队列无界:核心线程饱和后,任务添加至队列等待

  • “最大线程数”与“非核心线程最大空闲时间” 无效。
  • 任务永远不会被拒绝。
  • 多个任务并行执行

应用场景:只有核心线程,并且都不会销毁,将一直占用资源适合数量固定且耗时较长的任务让线程保持忙碌状态

SingleThreadExecutor 

public static ExecutorService newSingleThreadExecutor() {
    return new FinalizableDelegatedExecutorService
        (new ThreadPoolExecutor(1, 1,
                                0L, TimeUnit.MILLISECONDS,
                                new LinkedBlockingQueue<Runnable>()));
}
// 无界
public LinkedBlockingQueue() {
    this(Integer.MAX_VALUE);
}

队列无界唯一核心线程创建后,任务添加至队列等待

  • “最大线程数”与“非核心线程最大空闲时间” 无效。
  • 任务永远不会被拒绝。
  • 单个线程,所有任务串行执行

应用场景多任务顺序执行

CachedThreadPool

public static ExecutorService newCachedThreadPool() {
    return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
                                  60L, TimeUnit.SECONDS,
                                  new SynchronousQueue<Runnable>());
}
// 空队列
public SynchronousQueue() {
    this(false);
}

空队列添加新任务,需要其他空闲线程取走,否则创建非核心线程,60s 最大空闲时间

  • 任务提交速度 > 线程处理任务速度会不断创建新线程;可能耗尽内存和 CPU 资源。

应用场景全是非核心线程,60s 自动销毁,不会占用系统资源适合任务量大但耗时短的任务

ScheduledThreadPool 

public static ExecutorService newWorkStealingPool(int parallelism) {
    return new ForkJoinPool
        (parallelism,
         ForkJoinPool.defaultForkJoinWorkerThreadFactory,
         null, true);
}

public ScheduledThreadPoolExecutor(int corePoolSize) {
    super(corePoolSize, Integer.MAX_VALUE, 0, NANOSECONDS,
          new DelayedWorkQueue());
}

// 实现任务周期性执行
scheduleAtFixedRate
scheduleWithFixedDelay

队列无界核心线程饱和后,任务添加至队列等待

  • 任务执行完,修改下次执行时间,重新放入队尾

应用场景定时任务,具体固定周期的重复任务

WorkStealingPool 

// 1.8 加入,为 Fork/Join 的扩展
// parallelism 表示并行度
public static ExecutorService newWorkStealingPool(int parallelism) {
    return new ForkJoinPool
        (parallelism,
         ForkJoinPool.defaultForkJoinWorkerThreadFactory,
         null, true);
}

Fork/Join:将“大任务“拆分成多个“小任务”,并分发到多个线程;所有任务执行完,再进行合并

  • 工作窃取算法:每个线程都对应一个任务队列,互不干扰线程获取自己队列中任务为 FIFO任务都完成后,会去其他线程任务队列中获取任务,为了减少冲突,从队尾取 LIFO
  • 将任务拆分,并行执行,提高效率但是会消耗更多的系统资源
  • 不指定 parallelism 则默认为 CPU 核数。

应用场景适合很耗时的任务

<think>嗯,用户之前让我介绍了深度学习的几个主要模型,现在他们问的是线程池原理和应用。我需要先确定用户的知识背景。之前他们可能对深度学习有一定的了解,但现在转向了多线程编程,可能是计算机科学的学生或者开发者,想优化程序性能。 线程池原理,首先得解释线程池是什么,为什么需要它。用户可能知道多线程的基本概念,但线程池的具体机制可能不太清楚。应该从线程池的组成结构开始讲,比如任务队列、工作线程、线程管理器这些部分。还要提到线程池如何减少线程创建和销毁的开销,提高响应速度,控制并发数量。 接下来是工作原理,用户需要知道线程池的工作流程,比如初始化线程,任务提交到队列,线程从队列中取出任务执行,任务完成后线程不销毁而是等待下一个任务。这部分需要详细但简洁,可能需要用步骤分点说明。 然后是核心参数,最大线程数、核心线程数、队列容量这些参数的作用和如何影响性能。用户可能在实际应用中需要调整这些参数,所以解释清楚每个参数的意义和配置策略很重要。 应用场景方面,用户可能想知道在什么情况下使用线程池。比如高并发请求的Web服务器,数据库连接池,批量数据处理,定时任务调度等。这些例子能帮助用户将理论应用到实际项目中。 优势部分需要强调资源复用、流量削峰、可控性这些好处,可能用户关心如何提升系统性能,避免资源耗尽的问题。还需要提到可能的风险,比如任务队列过大导致内存溢出,或者死锁问题,这样用户在实际使用时会注意这些陷阱。 最后,实现示例部分,用户可能需要一个简单的代码示例来理解线程池的使用。不过要注意,用户可能使用不同的编程语言,但线程池的概念是通用的,所以用伪代码或者Java的示例比较合适,因为Java线程池比较典型。不过用户可能也熟悉其他语言,所以可以提到不同语言的实现,但主要用Java示例。 在思考过程中,我需要确保回答结构清晰,按照原理、组成、工作流程、参数、应用场景、优势和风险的顺序来组织内容。同时,要使用用户容易理解的语言,避免过于专业的术语,必要时用比喻帮助理解。比如,把线程池比作银行窗口,任务队列比作排队的人,这样用户更容易想象线程池的工作方式。 用户可能还关心如何选择合适的线程池参数,这部分需要给出一些经验法则,比如根据CPU核心数来设置线程数量,或者根据任务类型调整队列大小。同时,要提醒用户不同场景下参数的不同配置,比如IO密集型任务和CPU密集型任务的区别。 另外,需要提到线程池在实际开发中的常见实现,比如Java中的Executor框架,或者Python的concurrent.futures模块,这样用户知道如何在自己的项目中应用线程池,而无需从头造轮子。 最后,总结线程池的重要性和应用价值,帮助用户形成整体的理解,确保他们能够将线程池应用到自己的项目中,优化程序性能,提高系统稳定性。</think>以下是对线程池原理与应用的系统性解析,采用分模块结构化说明: #### 一、线程池核心原理 1. **设计目标** 通过复用线程资源,解决频繁创建/销毁线程的性能损耗问题,数学模型可表示为: $$T_{total} = N \cdot (t_{create} + t_{destroy}) + t_{task} \quad \Rightarrow \quad T_{pool} = t_{create} + t_{destroy} + k \cdot t_{task}$$ 其中$N$为任务总数,$k$为线程池线程数。 2. **组件构成** - **任务队列**:缓冲待执行任务(FIFO/LIFO优先级队列) - **工作线程集合**:固定/动态数量的Thread对象 - **线程管理器**:负责线程创建/回收/状态监控 3. **工作流程** ```plaintext [任务提交] → [队列未满?存入队列] → [有空闲线程?立即执行] ↓队列已满 ↓无空闲线程 [创建新线程?] ←─ [根据拒绝策略处理] ``` #### 二、关键参数配置 | 参数 | 作用说明 | 典型设置规则 | |-------------------|----------------------------|-----------------------------| | 核心线程数(corePoolSize) | 常驻线程数量 | CPU密集型:核数+1 | | 最大线程数(maxPoolSize) | 应急线程上限 | IO密集型:2*核数/(1-阻塞系数) | | 队列容量(queueCapacity) | 缓冲任务容量 | 根据内存和吞吐量需求设定 | | 存活时间(keepAliveTime) | 非核心线程空闲回收时间 | 通常设为60-300秒 | #### 三、应用场景示例 1. **Web服务器** Tomcat默认线程池配置: ```java // maxThreads=200, acceptCount=100 Executor executor = new ThreadPoolExecutor( 10, 200, 60, TimeUnit.SECONDS, new LinkedBlockingQueue<>(100)); ``` 可承载QPS= (200线程)/(平均响应时间) 2. **数据库连接池** HikariCP采用等待队列优化: ```python # 设置最大连接数=10,最小空闲=2 pool = QueuePool(creator, max_overflow=0, pool_size=10) ``` 3. **批量数据处理** Spark任务调度优化案例: ```scala val pool = new ForkJoinPool( Runtime.getRuntime.availableProcessors() * 2) ``` #### 四、线程池实现模式 1. **Work-Stealing算法** Java的ForkJoinPool实现原理: $$P_{steal} = \frac{1}{n} \sum_{i=1}^{n} (Q_i.size() > \theta)$$ 当某个线程任务队列长度超过阈值θ时触发任务窃取 2. **拒绝策略对比** | 策略类型 | 行为特征 | 适用场景 | |----------------|----------------------------|----------------------| | AbortPolicy | 直接抛出RejectedException | 严格要求系统稳定性 | | CallerRunsPolicy| 主线程执行任务 | 流量削峰 | | DiscardPolicy | 静默丢弃任务 | 可容忍数据丢失 | #### 五、性能优化实践 1. **线程数计算公式** 根据任务类型动态调整: - **CPU密集型**:$N_{threads} = N_{cpu} + 1$ - **IO密集型**:$N_{threads} = N_{cpu} \times \frac{1 + \text{等待时间}}{\text{计算时间}}$ 2. **监控指标** ```java ThreadPoolExecutor pool = (ThreadPoolExecutor) executor; System.out.println("活跃线程: " + pool.getActiveCount()); System.out.println("队列堆积: " + pool.getQueue().size()); ``` #### 六、典型问题解决方案 1. **死锁预防** 避免任务间循环依赖,设置任务超时: ```java Future<?> future = executor.submit(task); future.get(5, TimeUnit.SECONDS); // 超时控制 ``` 2. **内存泄漏处理** 使用ThreadLocal后必须执行remove()操作: ```java try { threadLocal.set(data); // ...业务逻辑 } finally { threadLocal.remove(); } ``` #### 七、新型线程池技术 1. **虚拟线程(协程)** Java 19+的虚拟线程实现: ```java ExecutorService executor = Executors.newVirtualThreadPerTaskExecutor(); ``` 2. **异步编排框架** CompletableFuture链式调用示例: ```java CompletableFuture.supplyAsync(() -> fetchData(), pool) .thenApplyAsync(data -> process(data), pool) .exceptionally(ex -> handleError(ex)); ``` 实际生产环境中,建议通过APM工具(如SkyWalking)监控线程池运行状态,结合具体业务场景持续优化参数配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值