单GPU使用多进程进行数据处理

问题描述

OSError: (External) Cuda error(3), initialization error.
[Advise: The API call failed because the CUDA driver and runtime could not be initialized. ] (at /paddle/paddle/fluid/platform/gpu_info.cc:200)

• 说明: 使用的是paddlepaddle训练的模型, 准备使用多进程进行数据的处理, 但是在初始化的时候报上面的错误.

解决方案:

• 在是github上找了好久的, 下面这个是可以解决问题的方案

1. 将原来的使用的  from multiprocessing import Pool  修改为  from torch.multiprocessing import Pool
2. 另外还需要添加 import torch

• 这个时候就可以启动程序了, 如果在启动程序的过程中出现

RuntimeError: context has already been se