在使用PyTorch的多进程数据加载时，由于自定义的collate_fn函数将list内的list转换为Tensor，导致RuntimeError:unabletoopensharedmemoryobjectinread-writemode:Toomanyopenfiles。问题的根本原因在于转换的Tensor过多。通过设置torch.multiprocessing的sharing_strategy为file_system可以缓解此问题，但最终解决方法是优化collate_fn函数，避免过多的Tensor操作。
RuntimeError: unable to open shared memory object in read-write mode: Too many open files (24)
网上的解决办法是通过添加下面两行解决
import torch.multiprocessing
torch.multiprocessing.set_sharing_strategy('file_system')
后来发现实际上是我们自定义了dataloader传入的collate_fn处理有问题，如果里面有把list里面又有list，我把list里面的那个list转成Tensor就会导致这个问题，原因是list里面的tensor太多了，参考解决地址torch.tensors in torch.multiprocessing · Issue #11899 · pytorch/pytorch · GitHub
您可能感兴趣的与本文相关的镜像
PyTorch 2.5
PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理
1万+
4319
20万+
3268
扫一扫
到【灌水乐园】发言
