多进程、进程池

多进程与进程池应用
  1. 多进程Manager
    数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manage专门用来做数据共享的,其支持的类型非常多,包括,Value, Array,list,dict, Queue, Lock等。
    from multiprocessing import Process, Manager
    def func(dt, lt):
        for i in range(10):
            key = 'arg' + str(i)
            dt[key] = i * i
    
        lt += range(11, 16)
    if __name__ == "__main__":
        manager = Manager()
        dt = manager.dict()
        lt = manager.list()
    
        p = Process(target=func, args=(dt, lt))
        p.start()
        p.join()
        print(dt)
        print(lt)

  2. 进程池
    Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程。
    进程池
    阻塞和非阻塞的区别:
    Pool.apply_async 非阻塞,定义的进程池进程最大数可以同时执行。
    Pool.apply 一个进程结束,释放回进程池,下一个进程才可以开始。
    import multiprocessing
    import time
    def fun(msg):
        print("############start######{0}".format(msg))
        time.sleep(3)
        print("########end########{0}".format(msg))
    
    if __name__=="__main__":
        pool = multiprocessing.Pool(processes=3)
        for i in xrange(1,6):
            msg = "hell{0}".format(i)
            pool.apply_async(fun,(msg,))
        print("#########start main########")
        pool.close()
        pool.join()
        #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
        print("#########end main##############")


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值