python进程池

未来人生爱美食

已于 2023-06-28 09:12:00 修改

阅读量158

点赞数

CC 4.0 BY-SA版权

文章标签： python

于 2023-06-27 14:38:53 首次发布

本文链接：https://blog.youkuaiyun.com/qq_40105923/article/details/131416615

当需要大量创建进程时，可以使用multiprocessing模块的Pool来创建进程池，简化工作。Pool提供了apply_async方法进行非阻塞调用，支持传入参数。通过close和join方法管理进程池，确保所有任务执行完毕。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

进程池的使用：

当需要创建的⼦进程数量不多时，可以直接利⽤multiprocessing.Process动态生成多个进程，但如果要创建很多进程时，⼿动创建的话⼯作量会非常大，此时就可以⽤到multiprocessing模块提供的Pool去创建一个进程池。

常用的函数如下：

apply_async(func, args, kwds)：使⽤⾮阻塞⽅式调⽤func（任务并⾏执⾏)，args为传递给func的参数列表，kwds为传递给func的关键字参数列表
close()：关闭Pool,使其不再接受新的任务
join()：主进程阻塞，等待⼦进程的退出，必须在close或terminate之后使⽤

from multiprocessing import Pool
process_num = 20
pool = Pool(process_num)
for i_main in range(y):
    for j_main in range(x):
        pool.apply_async(main,args=(inputdir,outdir,))
pool.close()
pool.join()