pool.imap_unordered()多进程模块使用

最新推荐文章于 2025-11-08 18:32:55 发布

原创最新推荐文章于 2025-11-08 18:32:55 发布 · 1.4w 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了一个简单的并行处理示例，使用 Python 的 multiprocess 库中的 Pool 类来加速任务处理。通过 imap_unordered 方法实现任务的异步处理，并展示了如何正确关闭和等待进程池结束。

该文章已生成可运行项目，

很简单的使用代码：

from multiprocess import Pool

pool = Pool(args.n_cpus)

# eg: f_list = [a, b, c]

for a in pool.imap_unordered(f, f_list):
    # Some unrelated code

pool.close()
pool.join()

def f(a):
    # Some unrelated code 
    return a

from multiprocess import Pool

# eg: f_list = [a, b, c]

with Pool() as pool:
    for a in pool.imap_unordered(f, f_list):
        # Some unrelated code

def f(a):
    # Some unrelated code 
    return a

讲解详见：https://www.jianshu.com/p/4c4ca5bccc09

本文章已经生成可运行项目