pytorch训练过程中loss出现NaN的原因及可采取的方法

已于 2022-07-23 14:45:15 修改
阅读量6.2w 收藏 56
点赞数 18
分类专栏： 深度学习 文章标签： loss pytorch nan
于 2018-06-22 21:32:30 首次发布
原文链接：https://blog.youkuaiyun.com/weixin_39092218/article/details/72915906
版权

同名微信公众号/知乎专栏: AI算法札记，欢迎关注交流

在pytorch训练过程中出现loss=nan的情况

1.学习率太高。

2.loss函数

3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决

4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target

5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，同样的需要检查数据集

pytorch 13 训练过程中出现loss为nan、inf（梯度爆炸、梯度消失）的分析及解决方案
a486259的博客
12-01 8658
从理论的角度上看，本质是梯度消失与梯度爆炸所导致的。梯度消失是指导数值特别小，导致其连乘项接近无穷小，可能是由输入数据的值域太小（导致权重W的导致特别小）或者是神经网络层输出数据落在在激活函数的饱和区（导致激活函数的导致特别小）;而梯度爆炸是指导数值特别大，导致其连乘项特别大，致使W在更新后超出了值域的表示范围。可能是输入数据没有进行归一化（数据量纲太大，致使W的梯度值极大），只要连乘项的导数一直大于1，就会使得靠近输入层的W更新幅度特别大。连乘项是指链式求导法则中每一层的导数，很明显梯度消失与梯度爆炸都受
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 7万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
Pytorch训练过程出现nan的解决方式
09-18
今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
训练出现了nan的排查血泪
最新发布
gengmingqi的博客
03-20 277
nan一直都没有出现！我觉得我的lr没问题，也没有无效计算的情况，所以我猜测是梯度爆炸。我发现在一个卷积输出全是nan，是全是nan，而输入是"正常的"（后来发现，应该是混有了nan）, 我百思不得其解，卷积不就是对应相乘相加，也不可能出现nan啊。经过测试，发现计算结果只可能趋于0，而不会到+-6.5w，所以不是上溢出，下溢出是小数直接没有了，变为0，然而这是成了nan。模型训练一开始好好的，前几轮也好好的，突然，loss出现了nan，我的模型准确率本来都很高了，啪地跌到了0.but，nan依旧！
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 9801
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
【深度学习】Pytorch训练过程中损失值出现NaN
destiny_balabala的博客
08-27 992
Pytorch训练过程中损失值出现NaN
pytorch训练网络时候出现loss nan的几种情况及解决方法
CaiDou的博客
06-30 5545
训练深度学习网络的过程中出现 loss nan总是让人觉得头疼，本人这次是在pytorch的半精度amp.autocast, amp.GradScaler训练时候出现了loss nan。loss nan 常见的一般几种情况有：lr学习率设置的过大，导致loss nan，调小lr；训练数据中有脏数据，也会导致loss，这个需要自己排查，batch设置为1，遍历所有训练数据遇到nan就打印数据路径再退出； 网络计算过程中可能存在nan，但这种可能比较少见。等等；计算loss时候出现nan，特别是众多交叉熵损..
pytorch训练过程中出现nan的排查思路
上帝是个娘们的博客
12-11 2万+
最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。 在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。 前面两条还不能解决nan的话，就按照下面的流程来判.
【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失
记录学习痕迹的公众号：Piper蛋窝
06-29 1万+
最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用。
pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt或者 **0.5，以及如何解决
小欧欧的博客
11-11 8565
今天写一个loss函数 dist=torch.sqrt(x*x+y*y) loss=soomthL1loss(dist,gt_dist) 我随便写的几句示意代码，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 解决办法： 1、不开方，因为开方的求导会出现在分母上，因此需要避免分母为0！ 2、tor...
pytorch训练损失为NAN（NLLLoss）
qq_40246742的博客
10-29 1663
在训练分类网络的时候经常使用NLLLoss作为损失函数。并且对于网络的输出有out=F.log_softmax(x)。由于刚开始训练不太稳定。很容易出现loss=nan。这是由于在计算log_softmax()时容易出现log0的情况： 解决方法： out=F.log_softmax(x+1e-10)给x添加一个很小的数。 ...
pytorch loss的值为nan的解决方法
u012483097的博客
09-29 6596
在对数logp加上一个值1e-10，防止p为0是logp为Nan
模型训练中出现loss为NaN怎么办？
Thomas_Cai的记忆殿堂
07-18 5360
模型训练中出现loss为NaN原因
pytorch crossentropy为nan
jacke121的专栏
03-21 5698
pytorch crossentropy为nan 交叉熵损失函数的具体为： loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x) 这样当z为0/1时会出现loss为nan的情况 本人的具体原因 网络中用了MultiHeadAttention,attention的mask全为0,这样attention就为nan，造成个别样本的输出特征全...
mse loss为nan值时候的怎么办
qq_41598736的博客
07-13 3913
loss 出现nan情况
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值