单GPU使用多进程进行数据处理

原创于 2022-08-11 15:26:50 发布 · 2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #python

nlp实战案例专栏收录该内容

5 篇文章

订阅专栏

本文解决了一个在使用PaddlePaddle训练模型时遇到的CUDA初始化错误问题。通过更改多进程库的导入方式，并设置torch的启动方法，成功解决了该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述

OSError: (External) Cuda error(3), initialization error.
[Advise: The API call failed because the CUDA driver and runtime could not be initialized. ] (at /paddle/paddle/fluid/platform/gpu_info.cc:200)

说明: 使用的是paddlepaddle训练的模型, 准备使用多进程进行数据的处理, 但是在初始化的时候报上面的错误.

解决方案:

在是github上找了好久的, 下面这个是可以解决问题的方案

1. 将原来的使用的  from multiprocessing import Pool  修改为  from torch.multiprocessing import Pool
2. 另外还需要添加 import torch

这个时候就可以启动程序了, 如果在启动程序的过程中出现

RuntimeError: context has already been set # 这个报错问题

上面问题的解决方案:

在 if __name__ == '__main__': 
	代码中添加: 
	torch.multiprocessing.set_start_method('spawn')

完成上面的代码添加, 问题得到解决, 程序顺利运行
祝大家运行顺利!!! ~~~💪🏻