python 多进程共享列表字典思考

简介

最近使用了 python 多进程中的共享列表和字典，发现在某些情况下出现：子进程中对共享列表/字典进行修改，但最终并没有起效

总结

在 python 多进程中，对共享列表/字典中的元素进行操作是不会起效的。
先举一个起效的正常用法：

import multiprocessing


def func(input_list, input_dict, i, k):
    input_list.append(i)
    input_dict[k] = i


if __name__ == '__main__':
    a_list = multiprocessing.Manager().list()
    a_dict = multiprocessing.Manager().dict()

    pool = multiprocessing.Pool(processes=3)
    pool.apply_async(func, (a_list, a_dict, 0, 'a'))
    pool.apply_async(func, (a_list, a_dict, 1, 'b'))
    pool.apply_async(func, (a_list, a_dict, 2, 'c'))
    pool.close()
    pool.join()
    
    print(a_list)
    print(a_dict)
    
# 输出
[0, 2, 1]
{'a': 0, 'c': 2, 'b': 1}

如果我们对列表/字典中的元素进行操作：

import multiprocessing


def func(input_list, input_dict, i, k):
    input_list[i].append(i)
    input_dict[k].append(i)


if __name__ == '__main__':
    a_list = multiprocessing.Manager().list([[], [], []])
    a_dict = multiprocessing.Manager().dict({'a': [], 'b': [], 'c': []})

    pool = multiprocessing.Pool(processes=3)
    pool.apply_async(func, (a_list, a_dict, 0, 'a'))
    pool.apply_async(func, (a_list, a_dict, 1, 'b'))
    pool.apply_async(func, (a_list, a_dict, 2, 'c'))
    pool.close()
    pool.join()

    print(a_list)
    print(a_dict)

# 输出
[[], [], []]
{'a': [], 'b': [], 'c': []}

可以看到，在子进程中对共享列表/字典的操作是无效的。事实上，即使在主进程这样操作也是无效的：

import multiprocessing


if __name__ == '__main__':
    a_list = multiprocessing.Manager().list([[], [], []])
    a_dict = multiprocessing.Manager().dict({'a': [], 'b': [], 'c': []})

    a_list[0].append(1)
    a_dict['a'].append(1)
    print(a_list)
    print(a_dict)

# 输出
[[], [], []]
{'a': [], 'b': [], 'c': []}