python多进程并行相关策略方案

ThinkOver33

已于 2024-01-27 21:59:18 修改

阅读量397

点赞数 8

文章标签： python 开发语言

于 2024-01-27 13:18:33 首次发布

本文链接：https://blog.youkuaiyun.com/daybreak222/article/details/135881660

版权

本文介绍了如何使用Python的multiprocessing库中的RLock和Value类实现抢占式任务并行设计，确保资源有效利用，同时保持任务执行顺序可控。通过示例展示了如何在task_list中管理任务并使用Pool进行并行处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from multiprocessing import Pool, RLock, Value

＃ 抢占式任务并行设计
# 全局变量，控制迭代过程
lock=RLock()
global_idx=Value('I',0)

task_list = [] # 需要并行的任务list

def task_manager(fake_id):
	global lock
	lock.acquire()
	idx=int(global_idx.value)
	global_idx.value += 1
	task_id = task_list[idx]
	lock.release()
	work_fn(task_id) # 并行的work函数

def work_fn(id):
	...


def main():
	task_list = [1, 2, 3] # example
	p = Pool(10)
	p.map(task_manager, np.arange(0, len(task_list))

设计抢占式并行的优势是能够有效的从始至终都用上全部的并行资源，而不会出现有些进程已经跑完了，而别的进程还要等半天才能跑完。另外该模式下的并行会按照task_list的任务顺序进行处理，也方便配合进度条等直观显示现在的处理进度。