Python中使用concurrent执行多进程任务

关注

VIP免费原创最新推荐文章于 2026-02-06 01:08:18 发布 1.9k 阅读 AI 写同款· GEO 优化 ›

【Python】concurrent 欢迎来到Python并发编程的深邃世界。在本章中，我们将首先建立对并发编程的根本理解，剖析其核心概念，并在此背景下，探究库为何应运而生，以及它在Python并发生态系统中的独特地位。我们不只是学习API，而是要从最底层开始，理解其背后哲学和设计初衷。在深入之前，我们必须厘清几个经常被混淆但意义截然不同的概念：并发（Concurrency）、并行（Parallelism）和异步（Asynchrony）。它们是构建高性能、高响应度应用程序的基石。并发是指在同一时间段内处理多个任务的能力。它不意味着这些任务在物理阅读详情

随着计算机技术的发展，诸如GPU和超算平台等越来越发达，这些技术的本质其实并没有带来算法上的革新，之所以能够提升计算的速度和规模，很大程度上是因为分布式和并行计算的优势。这里我们介绍一个简单的python自带的多进程的代码实现，使用的是concurrent这个工具，同时我们也会介绍如何更好的配置多进程的资源。

1.concurrent使用示例

concurrent是python自带的一个多进程实现仓库，不需要额外的安装。这里我们先介绍一个没有多进程的示例代码：

# sleep.py
 
import time
 
def sleep(seconds):
    time.sleep(seconds)
 
if __name__ == '__main__':
    times = [1] * 10
    time0 = time.time()
    for t in times:
        sleep(t)
    time1 = time.time()
    print ('The time cost is: {}s'.format(time1 - time0))

这个代码的功能其实就是休眠10s的时间，也比较容易，我们可以看一下这个代码的执行结果：

[dechin@dechin-manjaro concurrent]$ python3 sleep.py 
The time cost is: 10.014754295349121s

在我们统计时间的时候，发现会比10s的时间多出来一些，这部分时间不仅仅包含这个python程序执行的时间，跟时间的统计方式也有一定的关系，一般我们可以忽略这部分的gap时间。

我们假定上面这个程序中的sleep函数功能不是休眠1s的时间，而是执行一个耗时为1s的计算任务，而我们有很多的cpu，希望能够加速这个计算的过程，这个时候我们就需要用到多进程的技术，下面是修改为多进程之后的代码：

import concurrent.futures
import time
 
def sleep(seconds):
    time.sleep(seconds)
 
if __name__ == '__main__':
    times = [1] * 10
    time0 = time.time()
    with concurrent.futures.ProcessPoolExecutor() as executor:
        executor.map