IO型任务,线程池越大越好?

本文通过实验探讨了不同规模线程池对程序性能的影响。在使用Spring框架与JDK 1.8环境下,针对线程池大小等于CPU核心数与两倍CPU核心数的情况进行了对比测试,发现实际运行结果与常见建议有所出入。

网传  "CPU密集型任务,线程池size应为CPU数+1; IO密集型任务,线程池size应为CPU数/(1-阻塞系数)".

并且,类似的话也出现在<实战Java高并发程序设计> 这本书里.

但是,今天正好做到一个类似的东西,于是乎就测试了一下,很奇怪,结果恰恰相反.


1.环境:

1.1.jdk1.8

1.2.mysql5.6 (数据库位于本地Ubuntu16.04虚拟机中)

1.3.win10 64bit


2.笔记本配置:

.


3.测试数据库表及90万条样例数据:



4.主要程序代码

4.1.当线程池大小=CPU核心数

public static void main(String[] args) {
        final ConfigurableApplicationContext ctx = SpringApplication.run(Application.class, args);
        int cpuCount = Runtime.getRuntime().availableProcessors();
        ExecutorService threadPool = Executors.newFixedThreadPool(cpuCount);//线程池大小=CPU核心数

        long begin = System.nanoTime();
        for (int i = 0; i < cpuCount * 2; i++) {
            threadPool.submit(new Runnable() {
                @Override
                public void run() {
                    UserService userService = ctx.getBean(UserService.class);
                    boolean login = userService.login("1", "2");// 查询语句: SELECT * FROM `user` ,单词查询耗时约4s
                }
            });
        }
        threadPool.shutdown();
        while (!threadPool.isTerminated()) {
        }
        System.out.println("总共耗时:" + BigDecimal.valueOf(System.nanoTime() - begin, 9));
    }
多次测试,总耗时在32s左右.


4.2.把线程池大小扩大一倍:

 ExecutorService threadPool = Executors.newFixedThreadPool(cpuCount * 2);
多次测试,总耗时在36s左右





这..................


### IO 密集型线程池概念 IO 密集型任务是指程序执行过程中大部分时间花费在输入输出操作上,而非 CPU 计算。这类任务的特点是等待外部资源的时间较长,例如文件读写、网络请求等。为了提高系统的并发性能,在处理此类任务时通常会采用较大的线程池规模[^1]。 当线程处于阻塞状态(如等待磁盘或网络响应),其他线程可以继续运行,从而充分利用硬件资源。因此,合理配置 IO 密集型线程池的大小至关重要。 --- ### 使用场景 IO 密集型线程池适用于以下典场景: - **网络通信**:HTTP 请求、Socket 连接管理等。 - **数据库访问**:频繁调用 JDBC 查询或其他数据存储接口。 - **文件操作**:大量涉及文件读取和写入的任务。 - **消息队列消费**:从 Kafka、RabbitMQ 等中间件中拉取消息并进行后续处理。 这些场景下,由于存在大量的等待时间,通过增加线程数量能够显著提升吞吐量[^2]。 --- ### 实现方式 #### 1. 线程池大小计算 对于 IO 密集型任务,推荐的线程池大小可以通过以下公式估算: \[ \text{线程数} = C \times (W + 1) \] 其中: - \(C\) 表示可用处理器的核心数; - \(W\) 是单个线程平均阻塞的比例(即非活跃时间占比)。如果无法精确测量,则可假设较高的阻塞比例来调整参数[^3]。 实际开发中可以根据具体业务需求微调此数值,并借助监控工具动态优化。 #### 2. Java 中的具体实现 以下是基于 `ThreadPoolExecutor` 构建的一个简单例子,用于创建适合 IO 密集型工作的线程池: ```java import java.util.concurrent.*; public class IoIntensiveThreadPool { public static void main(String[] args) { int corePoolSize = Runtime.getRuntime().availableProcessors() * 2; // 假设 W=0.5, 调整因子为两倍 int maxPoolSize = corePoolSize * 2; long keepAliveTime = 60L; ThreadPoolExecutor executor = new ThreadPoolExecutor( corePoolSize, maxPoolSize, keepAliveTime, TimeUnit.SECONDS, new LinkedBlockingQueue<Runnable>(100), Executors.defaultThreadFactory(), new ThreadPoolExecutor.AbortPolicy() ); // 提交任务线程池 for (int i = 0; i < 10; i++) { final int taskNumber = i; executor.submit(() -> { try { System.out.println("Task " + taskNumber + " started."); Thread.sleep(2000); // 模拟耗时 IO 操作 System.out.println("Task " + taskNumber + " finished."); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }); } executor.shutdown(); } } ``` 上述代码片段展示了如何根据当前机器上的 CPU 数目设定合理的初始值以及最大边界范围;同时还设置了有限长度的工作队列以防内存溢出风险。 --- ### 总结 综上所述,构建高效的 IO 密集型线程池需考虑以下几个方面: - 明确目标应用场景及其特性; - 科学规划线程数目以平衡负载压力; - 结合实际情况灵活运用框架组件完成定制化部署方案。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值