- 多进程Manager
数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manage专门用来做数据共享的,其支持的类型非常多,包括,Value, Array,list,dict, Queue, Lock等。
from multiprocessing import Process, Manager def func(dt, lt): for i in range(10): key = 'arg' + str(i) dt[key] = i * i lt += range(11, 16) if __name__ == "__main__": manager = Manager() dt = manager.dict() lt = manager.list() p = Process(target=func, args=(dt, lt)) p.start() p.join() print(dt) print(lt)
- 进程池
Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程。
进程池
阻塞和非阻塞的区别:
Pool.apply_async 非阻塞,定义的进程池进程最大数可以同时执行。
Pool.apply 一个进程结束,释放回进程池,下一个进程才可以开始。
import multiprocessing import time def fun(msg): print("############start######{0}".format(msg)) time.sleep(3) print("########end########{0}".format(msg)) if __name__=="__main__": pool = multiprocessing.Pool(processes=3) for i in xrange(1,6): msg = "hell{0}".format(i) pool.apply_async(fun,(msg,)) print("#########start main########") pool.close() pool.join() #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束 print("#########end main##############")
多进程、进程池

最新推荐文章于 2025-07-22 21:02:40 发布