在训练数据的时候出现 too manyfiles

最新推荐文章于 2025-06-28 20:54:04 发布

原创最新推荐文章于 2025-06-28 20:54:04 发布 · 471 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

当系统因数据训练打开过多文件导致超出操作系统限制时，可以尝试使用`ulimit-n`提升文件数限制。然而，文章提到这种方法可能无效，而通过在代码中添加`torch.multiprocessing.set_sharing_strategy(file_system)`，调整file_descriptor的策略为file_system，问题得到了解决。

这个错误通常表示系统同时打开了太多的文件，超过了操作系统的限制。这可能是因为在进行数据训练时打开了大量的文件，导致操作系统无法处理。

上网查询解决方案又说使用ulimit -n来增加文件数限制，无法解决
在文件中添加下面的语句，将file_descriptor的策略改为file_system
```
import torch.multiprocessing
torch.multiprocessing.set_sharing_strategy('file_system')
```
问题解决了