Python-multiprocessing-Pool模块

最新推荐文章于 2025-04-15 19:51:03 发布

原创最新推荐文章于 2025-04-15 19:51:03 发布 · 3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pool

Python 同时被 2 个专栏收录

46 篇文章

订阅专栏

Python实战

46 篇文章

订阅专栏

本文通过一个具体的Python示例介绍了如何使用多进程池(pool)来并行执行长时间运行的任务。该示例展示了如何定义任务函数、创建进程池、提交任务，并确保所有子进程完成后再继续执行后续操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from multiprocessing import Pool

import os
import time
import random

def long_time_task(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    # 开始时间
    start =time.time()
    time.sleep(random.random()*3)
    # 结束时间
    end =time.time()
    print('Task runs %0.2f seconds.' % (name, (end - start)))

if  __name__ == '__main__':
    print('Parent process %s. ' % os.getpid())
    # Pool(number) number为当前可以【同时】跑多少个进程
    # 由于Pool的默认大小是CPU的核数，如果你不幸拥有8核CPU
    # 你要提交至少9个子进程才能看到上面的等待效果
    p = Pool(4)
    for i in range(5):
        p.apply_async(long_time_task,args=(i,))
    print('Waiting for all subprocess done...')

    # 调用close() 之后就不能继续添加新的Process了
    p.close()
    # 调用join() 之前必须先调用close()
    p.join()
    print('All suprocess done.')