Python中multiprocessing模块（多进程）

最新推荐文章于 2025-05-20 10:35:30 发布

原创最新推荐文章于 2025-05-20 10:35:30 发布 · 379 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#多进程 #python

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了Python的multiprocessing模块，包括Pool对象用于并行化函数执行，Process对象启动进程的方式，以及进程间通信的两种渠道：Queue和Pipe。Queue类似于queue.Queue，而Pipe则提供了双工的通信通道。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、multiprocessing 模块引入了 Pool 对象，它提供了一种方便的方法，可以跨多个输入值并行化函数的执行，跨进程分配输入数据（数据并行）。

from multiprocessing import Pool

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

2、在 multiprocessing 中，通过创建一个 Process 对象然后调用它的 start() 方法来生成进程。

from multiprocessing import Process

def f(name):
    print('hello', name)

if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

3、multiprocessing 支持进程之间的两种通信通道：
队列：
Queue 类是一个近似 queue.Queue 的克隆。

from multiprocessing import Process, Queue

def f(q):
    q.put([42, None, 'hello'])

if __name__ == '__main__':
    q = Queue()
    p = Process(target=f, args=(q,))
    p.start()
    print(q.get())    # prints "[42, None, 'hello']"
    p.join()

管道：
Pipe() 函数返回一个由管道连接的连接对象，默认情况下是双工（双向）。

from multiprocessing import Process, Pipe

def f(conn):
    conn.send([42, None, 'hello'])
    conn.close()

if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    p = Process(target=f, args=(child_conn,))
    p.start()
    print(parent_conn.recv())   # prints "[42, None, 'hello']"
    p.join()

参考资料：Python文档