Python中多进程进行数据处理

最新推荐文章于 2025-05-20 10:35:30 发布

BockSong

最新推荐文章于 2025-05-20 10:35:30 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：编程语言文章标签： python 多进程

本文链接：https://blog.youkuaiyun.com/BockSong/article/details/82763611

编程语言专栏收录该内容

11 篇文章

订阅专栏

本文介绍如何使用Python的multiprocessing模块中的Pool（进程池）来处理大量数据，通过创建多个子进程并行处理任务，实现数据处理速度的显著提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在做大量数据的处理时，经常会遇到速度慢的问题，这时候可以使用多进程来进行加速。python中的multiprocessing提供了跨平台的多进程模块，这里使用其中的pool（进程池）来尝试。

from multiprocessing import Pool
 
def run(data):
    # do something
    return data

processor = 8
res = []
p = Pool(processor)
for i in range(processor):
    res.append(p.apply_async(run, args=(data)))

p.close()
p.join()
output = []
for i in res: # 将子进程的处理结果重组
    output.append(i)
print(output)

Pool由于会复制整个父进程的资源，速度偏慢。实践中可以进一步选用process模块，有机会再补充。

参考：

https://blog.youkuaiyun.com/bryan__/article/details/78786648

https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431927781401bb47ccf187b24c3b955157bb12c5882d000