- 可以用multiprocessing提供的Pool方法,实现大量进程
- 进程池 — — 重复利用
- 初始化进程池时指定一个最大进程数,当有新的请求提交到pool中,
- 如果池还没有满,那么就会创建一个新的进程执行
- 如果已经到最大值,该请求就会等待,直到池中有进程结束,
- 才会用之前的进程执行新的任务
模拟进程池,进程运行:
from multiprocessing import Pool
import os,time,random
def worker(msg):
t_start = time.time()
print("%s开始执行,进程号为%d" % (msg,os.getpid()))
#random.random() 随机生成一个0-1之间的浮点数
time.sleep(random.random()*2)
t_stop = time.time()
print(msg,"执行完毕,耗时%.2f"%(t_stop-t_start))
if __name__ == "__main__":
po = Pool(3) #定义一个进程池,最大进程数是3
for i in range(0,10):
#Pool().apply_async(要调用的目标,(传递给目标参数的元组,))
#每次循环将会用空闲出来的子进程去调用目标
po.apply_async(worker,(i,))
print("----start----")
po.close() # 关闭进程池,关闭后不会在接收请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("------end-----")