python一点通: multiprocessing中start和join是什么意思?

Python的multiprocessing模块允许通过start()启动新进程,执行目标函数。join()方法用于阻塞主进程,直到子进程执行完毕,确保进程间的同步。在示例中,my_function在新进程中运行,join()确保其完成后再执行后续代码。

在Python的multiprocessing模块中,使用start()和join()方法来控制Process对象的执行。

start()

start()方法用于启动一个新的进程,该进程开始运行在Process对象创建时指定的目标函数。当你在一个Process对象上调用start()方法时,会发生以下情况:

操作系统创建一个新的进程。
新的进程在一个独立的环境中,具有自己的内存空间,开始执行目标函数以及传递给它的任何参数。

from multiprocessing import Process

def my_function(x):
    print(f'处理 {x}')

process = Process(target=my_function, args=(42,))
process.start()  # 这将在一个新的进程中开始执行my_function

join()

join()方法用于阻塞主进程(即启动新进程的脚本),直到目标进程完成执行。这对于同步进程并确保主进程在继续之前等待所有子进程完成非常有用。

当你在一个Process对象上调用join()方法时,会发生以下情况:

主进程被阻塞,等待目标进程完成执行。
一旦目标进程完成,join()方法返回,主进程继续执行。

from multiprocessing import Process

def my_function(x):
    print(f'处理 {x}')

process = Process(target=my_function, args=(42,))
process.start()  # 在一个新的进程中开始执行my_function
process.join()  # 等待新进程完成后再继续
print("进程完成")

在这个例子中,join()方法确保只有在my_function在新的进程中执行完成后才会打印出"进程完成"的消息。

Python中,`multiprocessing`是一个用于实现多进程编程的标准库。它允许程序在多个进程中并行执行任务,从而充分利用多核CPU的计算能力,绕过全局解释器锁(GIL)的限制,实现真正的并行计算,适合处理CPU密集型任务,如数值计算、复杂正则匹配等[^4]。 `multiprocessing`模块的API简单直观,新手可以迅速上手在多个进程之间划分工作。以下是一些常见的使用方法示例: #### 创建启动进程 可以使用`multiprocessing.Process`类来创建新的进程,并过`start()`方法启动进程。 ```python import multiprocessing def print_cube(num): print("Cube: {}".format(num * num * num)) def print_square(num): print("Square: {}".format(num * num)) if __name__ == "__main__": # 创建进程 p1 = multiprocessing.Process(target=print_square, args=(10, )) p2 = multiprocessing.Process(target=print_cube, args=(10, )) # 启动进程 p1.start() p2.start() # 等待进程结束 p1.join() p2.join() # 两个进程都已完成 print("Done!") ``` 在上述代码中,创建了两个进程`p1``p2`,分别执行`print_square``print_cube`函数。过`start()`方法启动进程,`join()`方法等待进程执行完毕[^2]。 #### 使用队列进行进程间信 `multiprocessing`中的`Queue`可用于在不同进程之间传递数据,其使用方式Python内置的`threading.Queue`对象很像,支持`put`操作将对象放入队列,也支持`get`操作将对象从队列中读出。不过,`multiprocessing.Queue`默认不支持`join()``task_done`操作,若需要这些支持,可使用`multiprocessing.JoinableQueue`对象[^3]。 ```python import multiprocessing def worker(q): item = q.get() print(f"Processing item: {item}") q.task_done() if __name__ == "__main__": q = multiprocessing.JoinableQueue() q.put(1) q.put(2) q.put(3) processes = [] for _ in range(3): p = multiprocessing.Process(target=worker, args=(q,)) p.start() processes.append(p) # 等待所有任务完成 q.join() # 终止所有进程 for p in processes: p.terminate() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值