Python实现多进程

Python可以实现多线程,但是因为Global Interpreter Lock (GIL),Python的多线程只能使用一个CPU内核,即一个时间只有一个线程在运行,多线程只是不同线程之间的切换,对多核CPU来说,就是巨大的浪费。如4核CPU,实际上只利用了一个核,CPU利用率只有25%。要充分利用多核CPU,可以实现Python的多进程。

首先,import相关的包:

from multiprocessing import Process, Manager
import multiprocessing

生成进程实例,并启动进程:

p = Process(target = Function_Name, args = (Function_Args_List))
p.start()

其中Function_Name是进程运行的函数名称,Function_Args_List是函数的参数列表,需要注意的是,以上代码必须写在if __name__ == '__main__':下面,否则会报错。

进程运行完了再执行父进程后面的代码,可以用join()来实现:

p.join()

如果是多个进程,一定要让多个进程都start()以后再join(),否则就成了上一个进程运行完了再开始下一个进程。

线程可以数据共享,进程是不能数据共享的,要实现数据共享,可以用:

m_list = multiprocessing.Manager().list(list)

以上代码在进程间共享了列表list。

### 使用 `multiprocessing` 实现多进程编程 #### 方法一:使用 `Pool` 通过 `multiprocessing.Pool` 可以轻松管理多个子进程,适用于需要并行执行大量相似任务的情况。此方式自动分配工作给不同进程,并收集结果。 ```python from multiprocessing import Pool def task(n): """模拟耗时操作""" return n * n if __name__ == '__main__': with Pool(processes=4) as pool: # 启动4个工作进程 results = pool.map(task, range(10)) print(results) ``` 上述代码展示了如何利用 `Pool` 来分发任务至各个进程中去计算平方值[^3]。 #### 方法二:直接创建 `Process` 对象 对于更加灵活的需求,可以直接实例化 `Process` 类来启动新进程。这种方式允许开发者完全控制每个单独的进程行为。 ```python from multiprocessing import Process def task(name): print(f'Hello, {name}') if __name__ == '__main__': p = Process(target=task, args=('world',)) p.start() p.join() # 主进程等待直到p结束 ``` 这段代码说明了怎样手动创建一个新的进程来进行简单的打印操作[^1]。 #### 方法三:继承 `Process` 类构建自定义进程 当面临更为复杂的应用场景时,可以选择继承 `Process` 基类来自定义特定功能的进程对象。这使得能够更好地封装业务逻辑以及扩展更多特性。 ```python from multiprocessing import Process class CustomProcess(Process): def __init__(self, message): super().__init__() self.message = message def run(self): print(self.message) if __name__ == '__main__': custom_p = CustomProcess(message='This is a custom process.') custom_p.start() custom_p.join() ``` 这里展示了一个基于继承的方式创建具有个性化特性的进程的例子[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值