Python 进程池Pool中一些坑

最新推荐文章于 2025-07-03 00:14:12 发布

原创最新推荐文章于 2025-07-03 00:14:12 发布 · 6.1k 阅读

2 ·

CC 4.0 BY-SA版权

本文详细解析了在Python的multiprocessing模块中，如何正确地结合Pool和Manager中的Queue进行多进程处理，特别是针对I/O操作的场景，提供了解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 from multiprocessing import Pool，Queue。其中Queue在Pool中不起作用，具体原因未明。
解决方案：
如果要用Pool创建进程，就需要使用multiprocessing.Manager()中的Queue,
与multiprocessing中的Queue不同

q=Manager().Queue()#Manager中的Queue才能配合Pool
po = Pool()  # 无穷多进程

2 使用进程池，在进程中调用io读写操作。例如：

p=Pool()
q=Manager().Queue()
with open('/home/cctv/data/stage_file/stage_{}.txt'.format(int(time.time())), 'w') as w1:
		p.apply_async(write_json, args=(video_path, 0,0.6,w1,q,i[0],))

这样也不会完成进程，只能把w放到具体的函数里面，不能通过参数调用