Parallel Python for loop

最新推荐文章于 2025-04-11 16:35:20 发布

Yunhe_Feng

最新推荐文章于 2025-04-11 16:35:20 发布

阅读量2.5k

点赞数

分类专栏： Python/Perl/etc. Parallel Computing

本文链接：https://blog.youkuaiyun.com/vernice/article/details/52896578

版权

Python/Perl/etc. 同时被 2 个专栏收录

46 篇文章

订阅专栏

Parallel Computing

2 篇文章

订阅专栏

本文介绍了一个使用Python的Joblib库进行并行处理的例子。该示例展示了如何利用多核CPU加速任务处理，包括在Windows和Linux系统上的具体实现方式。值得注意的是，在Windows上运行时需要特别注意避免递归创建子进程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

An example on Windows:

from joblib import Parallel, delayed
import multiprocessing
    
data = range(100) 
def process_task(i):
    print (i)

if __name__ == '__main__':
    num_cores = multiprocessing.cpu_count()
    results = Parallel(n_jobs=num_cores)(delayed(process_task)(i) for i in data)

An example on Linux:

from joblib import Parallel, delayed
import multiprocessing
    
data = range(100) 
def process_task(i):
    print (i)

num_cores = multiprocessing.cpu_count()
results = Parallel(n_jobs=num_cores)(delayed(process_task)(i) for i in data)

Note that on Windows, there must be a "if __name__ == '__main__':" to avoid recursive spawning of subprocesses over the code in the scope of main.