Python 实现并行for循环

不再更新，请勿购买！！

于 2022-10-20 22:55:57 发布

阅读量4.2k

点赞数

分类专栏： # Code 文章标签： python for循环并行

本文链接：https://blog.youkuaiyun.com/qazwsxrx/article/details/127436885

版权

Code 专栏收录该内容

91 篇文章

订阅专栏

本文探讨了如何在处理大量数据时通过并行化for循环来节省时间。示例代码展示了如何重构循环函数以接受多个参数，并利用全局变量解决参数传递问题。通过multiprocessing模块的Pool实现多进程并行处理，从而加速数据处理任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述

在逐个处理大量数据时，并行完成for循环能够节约大量时间
一个可供参考的例子是：已有博文
但在实际中，上述例子无法直接使用。原因包括：
- 1. 上述例子需要一个循环函数；
- 1. 上述例子中循环函数只能传入一个参数，而实际上会传入很多参数；

解决方法

对于问题1：
- 将for循环后的所有内容重组为一个循环函数；
对于问题2：
- 使用全局变量完成除了迭代参数外其他参数的传递。
示例代码如下：

def save_data():
    global opt,A_paths, B_paths, lidar_timestamps, radar_timestamps, radar_gts, lidar_gts, save_data_path

    datasize = len(A_paths)
    print("datasize:", str(datasize))
    
    index = [x for x in range(98, datasize)]
    p = multiprocessing.Pool(6)
    p.map(save_data_eachframe,index)
    p.close()
    p.join()

    return 

def save_data_eachframe(index):
    
    global opt,A_paths, B_paths, lidar_timestamps, radar_timestamps, radar_gts, lidar_gts, save_data_path

	...