Debug: Pytorch dataloaders OSError: Bad file descriptor

问题描述

pytorch dataloader多进程处理大数据集时，很容易报OSError: Bad file descriptor这个错，有博客的解决方式为：

mport torch.multiprocessing
torch.multiprocessing.set_sharing_strategy(‘file_system’)

设置共享内存可以解决这个报错，但是会带来内存泄漏问题。

解决方案

这里尝试了另一个共享内存策略，可以同时解决报错和内存泄露问题：

mport torch.multiprocessing
torch.multiprocessing.set_sharing_strategy(‘file_descriptor’)