多进程编程multiprocessing指南

最新推荐文章于 2025-05-20 10:35:30 发布

J_and_Q

最新推荐文章于 2025-05-20 10:35:30 发布

阅读量409

点赞数 4

CC 4.0 BY-SA版权

文章标签： java linux 服务器

本文链接：https://blog.youkuaiyun.com/J_and_Q/article/details/146121118

1. 简介

Python的multiprocessing模块是实现多进程编程的核心模块。它提供了一个与threading模块非常相似的API，使得开发者可以轻松地将单进程程序转换为多进程程序。相比于多线程，多进程可以充分利用多核CPU的优势，有效规避GIL的限制。

2. 基本概念

2.1 进程与线程的区别

进程是资源分配的最小单位
线程是CPU调度的最小单位
进程之间内存独立，线程共享进程内存
进程切换开销大，线程切换开销小

2.2 multiprocessing主要特性

支持进程池
提供进程间通信机制
支持进程同步
支持共享状态

3. 基本用法

3.1 创建进程

from multiprocessing import Process

def worker(name):
    print(f'Worker {name} is running')

if __name__ == '__main__':
    # 创建进程
    p = Process(target=worker, args=('Alice',))
    # 启动进程
    p.start()
    # 等待进程结束
    p.join()

3.2 进程池

from multiprocessing import Pool

def task(x):
    return x * x

if __name__ == '__main__':
    # 创建包含4个进程的进程池
    with Pool(4) as p:
        # 并行处理任务
        result = p.map(task, range(10))
        print(result)

4. 进程间通信

4.1 Queue

from multiprocessing import Process, Queue

def producer(q):
    q.put('Hello')

def consumer(q):
    msg = q.get()
    print(msg)

if __name__ == '__main__':
    q = Queue()
    p1 = Process(target=producer, args=(q,))
    p2 = Process(target=consumer, args=(q,))
    
    p1.start()
    p2.start()
    
    p1.join()
    p2.join()

4.2 Pipe

from multiprocessing import Process, Pipe

def send_data(conn):
    conn.send(['Hello', 42, None])
    conn.close()

if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    p = Process(target=send_data, args=(child_conn,))
    p.start()
    print(parent_conn.recv())
    p.join()

5. 进程同步

5.1 Lock

from multiprocessing import Process, Lock

def work_with_lock(lock, i):
    lock.acquire()
    try:
        print(f'Process {i} is working')
    finally:
        lock.release()

if __name__ == '__main__':
    lock = Lock()
    processes = []
    
    for i in range(5):
        p = Process(target=work_with_lock, args=(lock, i))
        processes.append(p)
        p.start()
    
    for p in processes:
        p.join()

6. 共享内存

6.1 Value和Array

from multiprocessing import Process, Value, Array

def worker(val, arr):
    val.value = 42
    for i in range(len(arr)):
        arr[i] = i

if __name__ == '__main__':
    val = Value('i', 0)
    arr = Array('i', 5)
    
    p = Process(target=worker, args=(val, arr))
    p.start()
    p.join()
    
    print(val.value)  # 42
    print(list(arr))  # [0, 1, 2, 3, 4]