python 多进程和多线程-优快云博客

本文介绍了Python中使用multiprocessing模块进行多进程编程的方法。通过示例展示了如何创建子进程、使用Process类及Pool类批量创建子进程。此外还讨论了Pool类的一些特性，如默认进程数量与操作系统核心数相同。

2019独角兽企业重金招聘Python工程师标准>>>

unix上有os.fork() 功能，可以在unix上运行，但不能在wins上运行。

python是跨平台的，所以创建了一个multiprocessing模块

multiprocessing模块提供了一个Process类来代表一个进程对象，下面的例子演示了启动一个子进程并等待其结束：

from multiprocessing import Process
import os

# 子进程要执行的代码
def run_proc(name):
    print 'Run child process %s (%s)...' % (name, os.getpid())

if __name__=='__main__':
    print 'Parent process %s.' % os.getpid()
    p = Process(target=run_proc, args=('test',))
    print 'Process will start.'
    p.start()
    p.join()
    print 'Process end.'

multiprocessing 提供了Pool class来批量生成子进程

from multiprocessing import Pool
import os, time, random

def long_time_task(name):
    print 'Run task %s (%s)...' % (name, os.getpid())
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print 'Task %s runs %0.2f seconds.' % (name, (end - start))

if __name__=='__main__':
    print 'Parent process %s.' % os.getpid()
    p = Pool()
    for i in range(5):
        p.apply_async(long_time_task, args=(i,))
    print 'Waiting for all subprocesses done...'
    p.close()
    p.join()
    print 'All subprocesses done.'

p.join()没有timeout设置，放到close（）之后，close之后的P就无法产生新的子进程

请注意输出的结果，task 0，1，2，3是立刻执行的，而task 4要等待前面某个task完成后才执行，这是因为Pool的默认大小在我的电脑上是4，因此，最多同时执行4个进程。这是Pool有意设计的限制，并不是操作系统的限制。如果改成：