pytorch RuntimeError: unable to open shared memory object in read-write mode: Too many open files

最新推荐文章于 2024-05-09 13:52:54 发布
最新推荐文章于 2024-05-09 13:52:54 发布
阅读量3.3k 收藏 8
点赞数 6
文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014734886/article/details/131837127
版权
在使用PyTorch的多进程数据加载时，由于自定义的collate_fn函数将list内的list转换为Tensor，导致RuntimeError:unabletoopensharedmemoryobjectinread-writemode:Toomanyopenfiles。问题的根本原因在于转换的Tensor过多。通过设置torch.multiprocessing的sharing_strategy为file_system可以缓解此问题，但最终解决方法是优化collate_fn函数，避免过多的Tensor操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RuntimeError: unable to open shared memory object in read-write mode: Too many open files (24)

网上的解决办法是通过添加下面两行解决

import torch.multiprocessing

torch.multiprocessing.set_sharing_strategy('file_system')

后来发现实际上是我们自定义了dataloader传入的collate_fn处理有问题，如果里面有把list里面又有list，我把list里面的那个list转成Tensor就会导致这个问题，原因是list里面的tensor太多了，参考解决地址torch.tensors in torch.multiprocessing · Issue #11899 · pytorch/pytorch · GitHub

《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 30万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
Linux "Too many open files" 问题分析
zangdongming的专栏
07-12 2235
平台介绍：Linux3.10.40 + Android4.4.2   事情的起因是压力测试过程中生成的tombstone日志异常，日志形式如下： ======================================================================= *** *** *** *** *** *** *** *** *** *** *** *** ***
RuntimeError: unable to open shared memory object ＜/torch_85159_194567204＞ in read-write mode
jjw_zyfx的博客
04-12 4223
报错的原因呢是因为使用迭代器的时候用了多个workers 即在这一句for (tokens_X, segments_X, valid_lens_x, pred_positions_X, mlm_weights_X, mlm_Y, nsp_y) in train_iter: 而这个train_iter的参数为： num_workers = d2l.get_dataloader_workers() train_iter = torch.utils.data.DataLoader(train_set, batch
学习记录：RuntimeError: unable to open shared memory object ＜/torch_20565_2307541897＞
weixin_47247597的博客
03-16 1742
解决：RuntimeError: Caught RuntimeError in DataLoader worker process 5. RuntimeError: unable to open shared memory object ＜/torch_20565_2307541897＞
RuntimeError: unable to open shared memory object ＜/torch_24157_2843535950＞ in read-write mode
m0_37844017的博客
09-23 1998
pytorch 训练出错
RuntimeError: unable to open shared memory object ＜/torch_24063_2365344576＞ in read-write mode
星之所望的博客
09-06 3885
【代码】RuntimeError: unable to open shared memory object ＜/torch_24063_2365344576＞ in read-write mode。
[20221004]莫名其妙的dataloader 无法在读写模式下打开共享内存对象 错误
qq_40762186的博客
02-07 861
琐碎日常
pytorch报错：Too many open files
y4ung
05-22 3131
程序运行到一半报了Too many open files的错： ... ... File "/home/miniconda3/envs/gpu/lib/python3.9/multiprocessing/resource_sharer.py", line 48, in __init__ OSError: [Errno 24] Too many open files 参考github上的issue It is expected because the default file_descriptor sh
too many open files(打开的文件过多)解决方法
热门推荐
大叶子不小的博客
12-12 1万+
too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。这样就可以把当前用户的最大允许打开文件数量设置为2048了，但这种设置方法在重启后会还原为默认值。如果程序中存在这些问题的话，无论系统句柄数设置的多么大，随着时间的推移，也一定会占用完。
pytorch常见问题
weixin_38640670的博客
11-16 3011
1. pytorch 的 dataloader 在读取数据时,设置了较大的 batchsize 和 num_workers. 然后训练一段时间报错: RuntimeError: Too many open files. Communication with the workers is no longer possible. Please increase the limit using ulimit -n in the shell or change the sharing strategy by c
Pytorch翻车记录：单卡改多卡踩坑记！
夕小瑶科技说
01-14 8653
文| 哟林小平@知乎先说明一下背景，目前正在魔改以下这篇论文的代码：https://github.com/QipengGuo/GraphWriter-DGLgithub.com由于每次...
GFnet代码阅读笔记
黑鹿的博客
10-14 1998
github:论文:本文记录了在阅读GFNet源码时的一些笔记 包括train.py utils.py configs.py network.py。
Python问题：RuntimeError:Unable to open/read ui device
小石_coding
01-04 2518
Python问题：RuntimeError:Unable to open/read ui device
pytorch训练 EOFERROR； bad file descriptor；多进程问题；DataLoader worker exited unexpectedly； num_worker ＞ 0问
de_ft的博客
06-29 634
加入这两行代码试一下。
Pytorch~单卡改多卡
whaosoft143ai的博客
12-21 931
这个问题终于在昨天（2020/12/22）被解决了，说来也好笑，左手是graphwriter的ddp实现，无法正常退出，右手是minst的ddp最小例程，可以正常退出，于是我开始了删减大法。一开始采用dp试图加速，结果因为dgl的实现（每个batch的点都会打包进一个batch，从而不可分割），而torch.nn.DataParallel的实现是把一个batch切分成更小，再加上他的加速性能也不如ddp，所以我开始尝试魔改成ddp。（顺便指的一提的是，sampler在很早的时候就把batch打包好了）
pytorch训练网络时报错：RuntimeError: received 0 items of ancdata
qq_40723205的博客
08-08 602
错误的原因：dataloader加载数据时，pytorch多线程共享tensor是通过打开文件的方式实现的，而打开文件的数量是有限制的，当需共享的tensor超过open files限制时，即会出现该错误。原文链接：https://blog.youkuaiyun.com/chen1234520nnn/article/details/103935825。
PyTorch 常见问题整理
anshiquanshu的专栏
01-12 5580
文章目录 1 Loss 为 NaN 2 正确测试模型运行时间 3 参数初始化 4 获取 torchvision 中某一层的输出 5 修正 The NVIDIA driver on your system is too old 错误 6 修正 Expected more than 1 value per channel when training 错误 7 修正 Can't call numpy() on Variable that requires grad. Use var.detach()
pytorch 多卡运行详细教程
机器学习深度学习业余选手
12-24 2428
pytorch 多卡运行详细教程
Debug: Pytorch dataloaders OSError: Bad file descriptor
最新发布
qq_41035283的博客
05-09 442
pytorch dataloader多进程处理大数据集时，很容易报设置共享内存可以解决这个报错，但是会带来内存泄漏问题。
PyTorch-NEAT：实现增强拓扑的神经进化算法
1. PyTorch-NEAT的定义和背景 PyTorch-NEAT是NEAT（NeuroEvolution of Augmenting Topologies，增强拓扑的神经进化）方法的PyTorch实现。NEAT算法由Kenneth O. Stanley提出，它是一种基于遗传算法的进化神经网络...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值