python 多进程

多进程
Process

from multiprocessing import Process

p = Process(target=func_name, args=(‘test’,))
p.start()
p.join()

创建子进程时，传入执行函数和函数参数；用start()方法启动；join()方法可以等待子进程结束后在继续往下运行，通常用于进程间的同步；

Pool
如果需要启动大量子进程，可以用进程池的方式批量创建子进程；

from multiprocessing import Pool

p = Pool()
for i in range(5):
p.apply_async(long_time_task, args=(i,))
print ‘Waiting for all subprocesses done…’

p.close()
p.join()
print ‘All subprocesses done…’

pool()对象调用join()方法会等待所有子进程执行完毕，调用join()之前必须先调用close()，调用close()之后就不能继续添加新的process了；

进程间通信
Python的multiprocessing提供Queue/Pipes等多种方式来实现进程间通信

以Queue为例：
在父进程中创建两个子进程，一个往Queue写数据，一个从Queue里读数据

from multiprocessing import Process, Queue

写

def write(q):
fro value in [‘a’, ‘b’, ‘c’]:
print ‘Put %s to queue.’ % value
q.put(value)
time.sleep(3)

读

def read(q):
while True:
value = q.get(True)
print ‘Get %s from queue.’ % value

if name == ‘main‘:
# 父进程创建Queue，并传给各个子进程；
q = Queue()
pw = Process(target=write, args(q,))
pr = Process(target=read, args=(q,))
# 启动子进程
pw.start()
pr.start()
# 等待结束
pw.join()
# pr进程是死循环，无法等待其结束，只能强制终止
pr.terminate()