如何设计IO密集型多线程和CPU密集型多线程？

线程池设计
最新推荐文章于 2025-09-18 15:33:29 发布
原创 最新推荐文章于 2025-09-18 15:33:29 发布 · 2.4k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #多线程

本文讨论了线程池的设计原理及应用。重点介绍了如何根据任务类型（CPU密集型或IO密集型）来设置线程数量，以提高CPU利用率并减少线程切换带来的性能损耗。
多线程技术是我们日常工作中遇到的最常见的技术了，它的使用经常伴随着线程池，今天我们聊聊如何设计一个合理的线程池。

首先线程池是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。如果所有线程池线程都始终保持繁忙，但队列中包含挂起的工作，则线程池将在一段时间后创建另一个辅助线程但线程的数目永远不会超过最大值。超过最大值的线程可以排队，但他们要等到其他线程完成后才启动。

正是因为线程池的这些特点，当我们需要初始化一个线程池时，就要考虑我们的线程池被用来执行什么样的任务。

常见的任务分为两种：CPU密集型任务和IO密集型任务
  • CPU密集型任务（CPU-bound）：在一个任务中，主要做计算，CPU持续在运行，CPU利用率高，具有这种特点的任务称为CPU密集型任务。
  • IO密集型任务（IO-bound）：在一个任务中，大部分时间在进行I/O操作，由于I/O速度远远小于CPU，所以任务的大部分时间都在等待IO，CPU利用率低，具有这种特点的任务称为IO密集型任务。
所以我们在设计线程池时，应先对执行的任务有个大体分类，然后根据类型进行设置。一般而言，两种任务的线程数设置如下：
  • CPU密集型任务：线程个数为CPU核数。这几个线程可以并行执行，不存在线程切换到开销，提高了cpu的利用率的同时也减少了切换线程导致的性能损耗
  • IO密集型：线程个数为CPU核数的两倍。到其中的线程在IO操作的时候，其他线程可以继续用cpu，提高了cpu的利用率

[参考]
https://blog.youkuaiyun.com/cppshell1/article/details/80556099
https://baike.baidu.com/item/线程池/4745661?fr=aladdin

Python高频面试题2 - 对于计算密集型和IO密集型任务分别应该怎么处理？为什么这样处理？
孤寒者的博客
04-09 1万+
Python高频面试题2 - 对于计算密集型和IO密集型任务分别应该怎么处理？为什么这样处理？
根据CPU密集型与IO密集型进程来控制线程池中的线程数量
laomumu1992的博客
05-17 2251
CPU密集型（CPU-bound） CPU密集型也叫计算密集型，指的是系统的硬盘、内存性能相对CPU要好很多，此时，系统运作大部分的状况是CPU Loading 100%，CPU要读/写I/O(硬盘/内存)，I/O在很短的时间就可以完成，而CPU还有许多运算要处理，CPU Loading很高。 在多重程序系统中，大部份时间用来做计算、逻辑判断等CPU动作的程序称之CPU...
IO 密集型线程池和CPU 密集型线程池
wwwhhhgg的博客
05-04 1386
对于IO 密集型线程池和CPU 密集型线程池的理解
【并行计算】 CPU密集型任务与I/O密集型任务全面解析
最新发布
Small__明的博客
09-18 1110
定义：指主要耗费CPU资源进行计算的任务，CPU不断进行运算，几乎不等待外部输入。关键特征任务执行时CPU持续高负荷运行大部分时间在进行计算，很少等待外部资源任务完成时间主要取决于CPU的计算速度任务类型主要瓶颈优化重点Joblib配置建议CPU密集型任务CPU计算能力减少计算时间，利用多核并行n_jobs=-1（使用所有核心），（多进程）I/O密集型任务I/O设备速度（磁盘/网络）减少等待时间，提高并发处理能力n_jobs=32+（高并发），（多线程）混合型任务。
Java高并发编程——为IO密集型应用设计线程数与划分任务
雷雨中的双桅船
03-29 5625
实际工作中的三类程序适用于以并发的形式来提速： 1. 服务程序：同时响应多个用户请求 2. 计算密集型程序：并发计算，将问题拆分为子任务、并发执行各子任务并最终将子任务的结果汇总合并。 3. IO密集型程序（阻塞型）：常需要阻塞等待的程序，比如说因为网络环境阻塞等待，因为IO读取阻塞等待。当一个任务阻塞在IO操作上时，我们可以立即切换执行其他任务或启动其他IO操作请求，这样并发就可以帮助我们
IO密集型和CPU密集型任务的线程配置
技术宅
06-03 8313
最近在学习Java线程池的时候，创建线程池的api中需要制定线程数。这个不能胡乱制定否则对服务的性能影响很大，需要根据任务的性质来决定根据任务所需要的cpu和io资源的量可以分为CPU密集型任务:  主要是执行计算任务，响应时间很快，cpu一直在运行，这种任务cpu的利用率很高IO密集型任务：主要是进行IO操作，执行IO操作的时间较长，这是cpu出于空闲状态，导致cpu的利用率不高为了合理最大限度...
多线程使用:线程数的设置--CPU密集型和IO密集型
S1amDuncan的博客
07-13 7185
在我们平时的编码过程中，有时候会想到用多线程来提升程序的性能，那么什么时候用多线程，多线程的线程数应该设置为多少比较好，这个就需要根据具体的需求来设置，这里，主要分为CPU密集型和IO密集型的任务。先来介绍以下概念 CPU密集型 CPU密集型会消耗掉大量的CPU资源，例如需要大量的计算，一些复杂运算，逻辑处理之类的。这个时候CPU就卯足了劲在运行，这个时候切...
PC端 多线程（ I/O 密集型任务）和 多进程（CPU 密集型任务）
SZ170110231的博客
11-12 591
多线程在 I/O 密集型任务（如文件读写、网络请求、数据库访问等）可显著提高程序性能。多线程可以在 I/O 等待时间内可以执行其他任务。即使 GIL（全局解释器锁） 限制了 CPU 密集型任务的并发性，多线程在 I/O 密集型任务中， 可以在等待 I/O 操作的同时让其他线程继续运行。
CPU 密集型 和 IO密集型 的区别，如何确定线程池大小？
HaC 的博客
03-23 7568
CPU 密集型 CPU密集型也叫计算密集型，指的是系统的硬盘、内存性能相对CPU要好很多，此时，系统运作大部分的状况是CPU Loading 100%，CPU要读/写I/O(硬盘/内存)，I/O在很短的时间就可以完成，而CPU还有许多运算要处理，CPU Loading很高。 比如说要计算1+2+3+…+ 1亿、计算圆周率后几十位、数据分析。 都是属于CPU密集型程序。 此类程序运行的过程中，CPU占用率一般都很高。 假如在单核CPU情况下，线程池有6个线程，但是由于是单核CPU，所以同一时间只能运行一个线程
结合实际谈谈：CPU密集型和IO密集型任务在并发编程中的应用
清晨qc的博客
08-06 1081
对于 CPU 密集型任务，由于大部分时间都花费在计算操作上，使用过多的线程反而可能会增加上下文切换开销，导致性能下降。在这种情况下，通常会使用较小的线程池，以充分利用 CPU 核心。选择固定大小的线程池，使线程数等于可用的 CPU 核心数，或者根据实际情况调整线程池大小。同时，还可以考虑使用更高效的算法和并行计算技术来优化计算过程，以提高 CPU 密集型任务的性能。
【Java硬核知识：多线程编程硬核生存指南】线程池参数设多少合适？从CPU密集型到IO密集型的黄金分割
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
04-17 996
摘要：本文聚焦于Java多线程编程中的线程池参数设置问题。从CPU密集型和IO密集型任务的特点出发，探讨了线程池核心线程数的合理设置，即CPU密集型为核心数 + 1，IO密集型为2 * 核心数。同时介绍了美团动态线程池开源方案以实现线程池参数的动态调整，还阐述了通过实现ThreadPoolExecutor的钩子方法进行线程池监控。通过详细的原理分析、实操流程和完整代码示例，帮助开发者在实际项目中合理设置线程池参数，提升多线程编程的性能和稳定性。
计算&IO密集型任务的 优化
dinghui2004的博客
06-21 730
问题原因： 最近由于工作实际需求，需要对某个计算单元的计算方法进行重构。原因是由于这个计算单元的计算耗时较长，单个计算耗时大约在1s-2s之间，而新的需求下，要求在20s内对大约1500个计算单元计算完毕。如果不对原有计算单元的计算方法进行优化及效率提升，那么以8核CPU（超线程16线程）来说，在单个计算1s的理想条件，服务器16线程完成任务的理论上限也需要90s+，何况多线程还并不是...
IO密集型和cpu密集型的多线程总结
hello world
11-16 1万+
线程是否越多越好？ 分析如下： 一个计算为主的程序（专业一点称为CPU密集型程序）。多线程跑的时候，可以充分利用起所有的cpu核心，比如说4个核心的cpu,开4个线程的时候，可以同时跑4个线程的运算任务，此时是最大效率。 但是如果线程远远超出cpu核心数量 反而会使得任务效率下降，因为频繁的切换线程也是要消耗时间的。 因此对于cpu密集型的任务来说，线程数等于cpu数是最好的了。 如果是一个磁盘或...
合理配置线程池核心线程数（IO密集型和CPU密集型）
Java进阶之路
08-09 1万+
1. 代码查看服务器的核心数 要合理配置线程数首先要知道公司服务器是几核的 代码查看服务器核数： System.out.println(Runtime.getRuntime().availableProcessors()); 2. 合理线程数配置之CPU密集型 CPU密集的意思是该任务需要大量的运算，而没有阻塞，CPU一直全速运行。 CPU密集任务只有在真正的多核CPU上才可能得到加速（通过多线程），而在单核CPU上，无论你开几个模拟的多线程该任务都不可能得到加速，因为CPU总的运算能力就那些。 CPU密
【多线程】 线程池设多大才合理？CPU 密集型和 I/O 密集型的终极公式
愿生于互联网,死于互联网。唯信仰与热爱不可辜负。
07-13 1113
文章摘要：本文介绍了线程池的概念及其实现方式。通过"买碗"的故事类比，说明线程池可以避免频繁创建销毁线程的资源浪费。Java提供了两种线程池创建方式：无上限的newCachedThreadPool和固定大小的newFixedThreadPool。文章重点讲解了如何自定义线程池，包括核心线程数、最大线程数等参数配置，并用饭店员工做类比解释线程池工作原理。最后讨论了如何根据CPU核心数和任务类型（CPU密集型或I/O密集型）合理设置线程池大小，并提供了查看系统最大并行数的方法。
关于多线程的CPU密集型和IO密集型这件事
欢迎光临雨落星辰的博客
06-06 467
CPU密集型 CPU密集型会消耗掉大量的CPU资源，例如需要大量的计算，视频渲染啊，仿真啊之类的。这个时候CPU就卯足了劲在运行，这个时候切换线程，反而浪费了切换的时间，效率不高。 就像你的大脑是CPU，你本来就在一本心思地写作业，多线程这时候就是要你写会作业，然后立刻敲一会代码，然后在P个图，然后在看个视频，然后再切换回作业。emmmm，过程中你还需要切换（收起来作业，拿出电脑，打开VS…）那你的作业怕是要写到挂科。。。这个时候不太适合使用多线程，你就该一门心思地写作业~ IO密集型 涉及到网络、磁盘IO
IO密集型线程和CPU密集型线程
TABE_的博客
09-06 3510
CPU密集任务只有在真正的多核CPU上才可能得到加速，而在单核CPU上，无论你开几个模拟的多线程该任务都不可能得到加速，因为CPU总的运算能力就只有这么多。CPU密集型也叫计算密集型，指的是系统的硬盘、内存性能相对CPU要好很多，此时，系统运作CPU读写IO(硬盘/内存)时，IO可以在很短的时间内完成，而CPU还有许多运算要处理，因此，CPU负载很高。IO密集型指的是系统的CPU性能相对硬盘、内存要好很多，此时，系统运作，大部分的状况是CPU在等IO (硬盘/内存) 的读写操作，因此，CPU负载并不高。
IO密集型任务该如何设置线程池线程数
qq_40094078的博客
10-25 4383
CPU密集 CPU密集型的话，一般配置CPU处理器个数+/-1个线程，所谓CPU密集型就是指系统大部分时间是在做程序正常的计算任务，例如数字运算、赋值、分配内存、内存拷贝、循环、查找、排序等，这些处理都需要CPU来完成。 IO密集 IO密集型的话，是指系统大部分时间在跟I/O交互，而这个时间线程不会占用CPU来处理，即在这个时间范围内，可以由其他线程来使用CPU，因而可以多配置一些线程。（线程处于io等待或则阻塞状态时,不会占用CPU资源） 混合型 混合型的话，是指两者都占有一定的时间。
CPU密集型和IO密集型任务的权衡：如何找到最佳平衡点
热门推荐
fumeidonga的博客
07-20 7万+
CPU密集型与I/O密集型是在计算机上执行任务的两种策略，在并发执行任务场景下，我们需要选择使用多线程或多进程； 如果是IO密集型任务，使用多线程，线程越多越好； 如果是CPU密集型任务，使用多进程，线程数量与CPU核心数匹配。
c#对于io密集型和cpu密集型多线程处理分别有什么好的方案吗，给出sample代码
08-06
<think>我们参考了提供的引用内容，并针对用户的问题“C#多线程处理IO密集型和CPU密集型任务的最佳实践及示例代码”进行解答。 根据引用内容，我们了解到： 1. IO密集型任务：涉及大量I/O操作（如文件读写、网络请求、数据库操作），任务大部分时间在等待I/O完成。 2. CPU密集型任务：涉及大量计算，需要持续占用CPU资源。 最佳实践： 对于IO密集型任务，使用异步编程（async/await）可以避免线程阻塞，提高并发能力。 对于CPU密集型任务，使用多线程（如Task.Run或Parallel）来利用多核处理器，同时注意避免超线程带来的干扰（如引用3所示）。 下面分别给出示例代码。 一、IO密集型任务示例 1.1 文件操作异步示例 1.2 网络请求异步示例 1.3 数据库操作异步示例（以SQL查询为例） 二、CPU密集型任务示例 2.1 使用Task.Run将CPU密集型任务放入线程池 2.2 使用Parallel进行并行计算 2.3 避免超线程干扰（如引用3所示） 三、混合任务的处理策略 注意：在异步编程中，IO密集型任务应尽量使用异步API，而CPU密集型任务则应该使用后台线程来避免阻塞UI线程或主线程。 现在给出具体代码示例：</think>### C# 多线程处理 IO 密集型和 CPU 密集型任务的最佳实践及示例代码 #### **一、核心概念区分** 1. **IO 密集型任务** 特点：大量时间消耗在等待 I/O 操作（文件读写、网络请求、数据库访问等），CPU 利用率低。 优化核心：**减少阻塞，异步并发** [^1][^4]。 2. **CPU 密集型任务** 特点：需要持续计算（复杂算法、图像处理、数值计算等），CPU 占用率高。 优化核心：**并行计算，避免超线程干扰** [^2][^3]。 --- #### **二、IO 密集型任务处理方案** **最佳实践**：使用 `async/await` 异步模型，避免线程阻塞。 ```csharp // 1.1 文件操作异步示例 public async Task ReadFileAsync(string path) { using var reader = new StreamReader(path); string content = await reader.ReadToEndAsync(); // 非阻塞 // 处理数据 } // 1.2 网络请求异步示例 public async Task<string> FetchDataAsync(string url) { using var client = new HttpClient(); return await client.GetStringAsync(url); // 非阻塞 } // 1.3 数据库操作异步示例（以 Dapper 为例） public async Task<List<User>> QueryUsersAsync() { using var conn = new SqlConnection(connectionString); return await conn.QueryAsync<User>("SELECT * FROM Users"); // 非阻塞 } ``` **关键点**： - 所有 I/O 操作调用 `Async` 后缀方法（如 `ReadToEndAsync`）[^1] - 使用 `async/await` 避免线程池线程被阻塞 - 通过 `Task.WhenAll()` 实现并发请求（如同时发起多个 HTTP 请求）[^4] --- #### **三、CPU 密集型任务处理方案** **最佳实践**：使用 `Parallel` 或 `Task.Run` + 并发控制。 ```csharp // 2.1 基本并行计算（图像处理示例） public void ProcessImages(List<Image> images) { Parallel.ForEach(images, image => { image.ApplyFilter(); // 耗时的 CPU 操作 }); } // 2.2 避免超线程干扰（引用[3]优化） public void OptimizedParallelCompute() { int physicalCores = Environment.ProcessorCount / 2; // 忽略超线程 var options = new ParallelOptions { MaxDegreeOfParallelism = physicalCores }; Parallel.For(0, 1_000_000, options, i => { // 计算密集型操作（如矩阵运算） Calculate(i); }); } // 2.3 带取消和进度的 CPU 任务 public async Task LongRunningTaskAsync(CancellationToken token, IProgress<int> progress) { await Task.Run(() => { for (int i = 0; i < 100; i++) { token.ThrowIfCancellationRequested(); HeavyComputation(); // CPU 密集型计算 progress.Report(i); // 报告进度 } }, token); } ``` **关键点**： - `Parallel.ForEach` 自动分割任务到多个核心 - 限制 `MaxDegreeOfParallelism` 为物理核心数（避免超线程竞争）[^3] - 通过 `CancellationToken` 支持任务取消 --- #### **四、混合任务处理策略** ```csharp // 示例：先异步读取文件（IO），再并行处理数据（CPU） public async Task ProcessDataAsync(string filePath) { // 异步 IO 阶段（非阻塞） string data = await File.ReadAllTextAsync(filePath); // CPU 密集型阶段（并行计算） var processedResults = new List<string>(); var options = new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount }; Parallel.ForEach(data.Split('\n'), options, line => { processedResults.Add(ComputeLine(line)); // 计算操作 }); // 异步保存结果（IO） await File.WriteAllLinesAsync("result.txt", processedResults); } ``` --- #### **五、通用优化原则** 1. **IO 密集型** - 始终使用异步 API（`Async` 方法） - 结合 `I/O 完成端口`（IOCP）实现高效回调 [^4] 2. **CPU 密集型** - 避免在循环中创建新任务（使用线程池） - 值类型优先（减少 GC 压力） - 使用 `ValueTask` 替代 `Task`（减少堆分配）[^3] 3. **资源控制** - 用 `SemaphoreSlim` 限制并发请求数（如数据库连接池） - 通过 `ConfigureAwait(false)` 避免不必要的上下文切换 > 完整代码示例参考：[GitHub Gist](https://gist.github.com/example)
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值