Python multiprocessing 多进程锁进程间传递Lock 遇到的问题

最新推荐文章于 2025-06-15 23:00:06 发布

原创最新推荐文章于 2025-06-15 23:00:06 发布 · 6.9k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#python #multiprocessing #pool #lock #进程锁

python 专栏收录该内容

6 篇文章

订阅专栏

本文探讨了在Python的多进程环境下，如何正确使用锁(lock)来避免资源竞争和数据不一致的问题。通过引入Manager对象创建可共享的锁，确保了在多进程池中对共享资源的安全访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

无法传递 Lock对象

from multiprocessing import Pool,Lock
def text(i,lock):
	print(i)
	lock.acquire()
        DOSOMETHING
	lock.release()
if __name__ == '__main__':
	lock=Lock()
	pool=Pool(processes=8)
	for i in range(1,1000):
		pool.apply_async(text,(i,lock))
	pool.close()
	pool.join()

这里的锁是没有作用的,一样会冲突.因为lock不能作为对象传参,所以增加Manager(日志写入锁),其实是相当于一个专门的进程去处理Manager服务

from multiprocessing import Pool,Lock,Manager
def text(i,lock):
	print(i)
	lock.acquire()
    	temp=music_url.find({'singername':'v'})[0]['url']+1
	music_url.update({'singername':'v'},{'$set':{'url':temp}})
	lock.release()
if __name__ == '__main__':
	arr=[]
	manager = Manager()
	lock=manager.Lock()
	pool=Pool(processes=8)
	for i in range(1,1000):
		pool.apply_async(text,(i,lock))
	pool.close()
	pool.join()
	print(music_url.find({'singername':'v'})[0]['url'])

这样改就完全没有问题了