Python 进程池 Pool

最新推荐文章于 2025-07-03 00:14:12 发布

原创最新推荐文章于 2025-07-03 00:14:12 发布 · 454 阅读

0 ·

CC 4.0 BY-SA版权

Python 学习线程 and 进程专栏收录该内容

7 篇文章

订阅专栏

Python的Pool类提供了一种方便的进程管理方式，允许批量创建子进程并控制其数量，尤其适合并行处理大量任务。Pool通过apply_async进行非阻塞任务提交，而apply则是阻塞的。此外，它还提供了close、terminate和join方法，用于关闭不再接受新任务的池、立即结束所有工作进程以及等待所有子进程退出。

用于批量创建子进程，可以灵活控制子进程的数量

在使用Python进行系统管理时，特别是同时操作多个文件目录或者远程控制多台主机，并行操作可以节约大量的时间。如果操作的对象数目不大时，还可以直接使用Process类动态的生成多个进程，十几个还好，但是如果上百个甚至更多，那手动去限制进程数量就显得特别的繁琐，此时进程池就派上用场了。
Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求。

from multiprocessing import Pool
import time

def f(x):
    print(pow(x,2))
    time.sleep(2)
    return pow(x,2)

if __name__ == '__main__':
    pool = Pool(processes = 5)
    res_list = []

    for i in range(10):
        res = pool.apply_async(f,[i,]) 
        print('-------:',i)
        res_list.append(res)
    pool.close()
    pool.join()
    for r in res_list:
        print("result = ",r.get(timeout=5))

apply_async(func[, args[, kwds[, callback]]]) 它是非阻塞，apply(func[, args[, kwds]])是阻塞的
close() 关闭pool，使其不在接受新的任务。
terminate() 结束工作进程，不在处理未完成的任务。
join() 主进程阻塞，等待子进程的退出， join方法要在close或terminate之后使用。