pytorch训练过程中loss出现NaN的原因及可采取的方法

已于 2022-07-23 14:45:15 修改
阅读量6.2w 收藏 56
点赞数 18
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： loss pytorch nan
于 2018-06-22 21:32:30 首次发布
原文链接：https://blog.youkuaiyun.com/weixin_39092218/article/details/72915906
本文探讨了PyTorch训练过程中遇到loss值为NaN的问题，分析了可能的原因，包括学习率设置过高、loss函数问题、数据预处理不当等，并提供了相应的排查和解决方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

同名微信公众号/知乎专栏: AI算法札记，欢迎关注交流

在pytorch训练过程中出现loss=nan的情况

1.学习率太高。

2.loss函数

3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决

4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target

5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，同样的需要检查数据集

pytorch 13 训练过程中出现loss为nan、inf（梯度爆炸、梯度消失）的分析及解决方案
a486259的博客
12-01 8735
从理论的角度上看，本质是梯度消失与梯度爆炸所导致的。梯度消失是指导数值特别小，导致其连乘项接近无穷小，可能是由输入数据的值域太小（导致权重W的导致特别小）或者是神经网络层输出数据落在在激活函数的饱和区（导致激活函数的导致特别小）;而梯度爆炸是指导数值特别大，导致其连乘项特别大，致使W在更新后超出了值域的表示范围。可能是输入数据没有进行归一化（数据量纲太大，致使W的梯度值极大），只要连乘项的导数一直大于1，就会使得靠近输入层的W更新幅度特别大。连乘项是指链式求导法则中每一层的导数，很明显梯度消失与梯度爆炸都受
Pytorch训练过程出现nan的解决方式
09-18
今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
昇腾卡上模型训练过程中出现grad_norm为NAN的问题定位方法
最新发布
weixin_41374321的博客
05-27 498
grad_norm通常用模型参数梯度的范数表示，常用二范数计算；所以grad_norm出现NAN值先排查模型参数的梯度是否存在NAN值；Megatron-LM中grad_norm计算方法是MegatronOptimizer类中的clip_grad_norm方法（megatron/optimizer/optimizer.py文件中）
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 7万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 1万+
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
【深度学习】Pytorch训练过程中损失值出现NaN
destiny_balabala的博客
08-27 1054
Pytorch训练过程中损失值出现NaN
Pytorch训练时报nan
体会编程语言独到的美
11-07 1014
介绍Pytorch训练时nan产生后的排查和规避方法。
pytorch训练网络时候出现loss nan的几种情况及解决方法
CaiDou的博客
06-30 5638
训练深度学习网络的过程中出现 loss nan总是让人觉得头疼，本人这次是在pytorch的半精度amp.autocast, amp.GradScaler训练时候出现了loss nan。loss nan 常见的一般几种情况有：lr学习率设置的过大，导致loss nan，调小lr；训练数据中有脏数据，也会导致loss，这个需要自己排查，batch设置为1，遍历所有训练数据遇到nan就打印数据路径再退出； 网络计算过程中可能存在nan，但这种可能比较少见。等等；计算loss时候出现nan，特别是众多交叉熵损..
【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失
记录学习痕迹的公众号：Piper蛋窝
06-29 1万+
最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用。
pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt或者 **0.5，以及如何解决
小欧欧的博客
11-11 8615
今天写一个loss函数 dist=torch.sqrt(x*x+y*y) loss=soomthL1loss(dist,gt_dist) 我随便写的几句示意代码，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 解决办法： 1、不开方，因为开方的求导会出现在分母上，因此需要避免分母为0！ 2、tor...
pytorch训练损失为NAN（NLLLoss）
qq_40246742的博客
10-29 1685
在训练分类网络的时候经常使用NLLLoss作为损失函数。并且对于网络的输出有out=F.log_softmax(x)。由于刚开始训练不太稳定。很容易出现loss=nan。这是由于在计算log_softmax()时容易出现log0的情况： 解决方法： out=F.log_softmax(x+1e-10)给x添加一个很小的数。 ...
pytorch loss的值为nan的解决方法
u012483097的博客
09-29 6605
在对数logp加上一个值1e-10，防止p为0是logp为Nan
模型训练中出现loss为NaN怎么办？
Thomas_Cai的记忆殿堂
07-18 5721
模型训练中出现loss为NaN原因
pytorch crossentropy为nan
jacke121的专栏
03-21 5725
pytorch crossentropy为nan 交叉熵损失函数的具体为： loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x) 这样当z为0/1时会出现loss为nan的情况 本人的具体原因 网络中用了MultiHeadAttention,attention的mask全为0,这样attention就为nan，造成个别样本的输出特征全...
pytorch训练过程中出现nan的排查思路
taoqick的专栏
08-08 748
转载自： https://blog.youkuaiyun.com/mch2869253130/article/details/111034068。3. 前面两条还不能解决nan的话，就按照下面的流程来判断。max_norm一般是1，3，5。
mse loss为nan值时候的怎么办
qq_41598736的博客
07-13 3975
loss 出现nan情况
训练过程中loss出现nan
12-28
### 解决机器学习模型训练时损失函数变为NaN的问题 #### 学习率设置不当 过高的学习率可能导致梯度爆炸，使得参数更新幅度过大，进而导致损失函数中的某些计算超出数值范围而变成NaN。建议逐步降低学习率来观察效果，在PyTorch环境中通常将初始设定的学习率减少1到10倍可能有效[^3]。 #### 数据预处理不足 数据集中存在异常值或极端值可能会引起模型内部运算溢出，特别是当输入特征尺度差异较大时更容易发生此类现象。对于大规模分类任务而言，如果类别数目非常多（例如达到数千级别），那么使用交叉熵作为损失函数时确实有可能因为极小的概率估计而导致`log(0)`的情况出现，这会直接引发NaN的结果[^2]。因此，确保数据已经经过标准化/归一化处理，并且检查是否有不合理的大数或负数混入其中是非常重要的预防措施之一[^1]。 #### 初始化策略欠佳 权重初始化方式的选择也会影响收敛过程的稳定性。不恰当的初始化方案容易造成网络层间激活值迅速增大或者缩小至接近于零的状态，最终累积下来形成NaN输出。针对这个问题，推荐采用Xavier/Glorot均匀分布或是He正态分布等方式来进行合理的权值赋初值操作。 #### 数值稳定性的优化技巧 为了提高数值计算的鲁棒性，可以在实现具体算法的过程中加入一些额外的设计考量： - **Softmax+LogSumExp**：在多类别的场景下应用softmax配合log-sum-exp trick能够有效地缓解由于指数项过大带来的不稳定因素； - **Clip Gradient**：通过裁剪梯度范数防止其变得太大，从而保护反向传播阶段不会被破坏掉正常的参数调整方向； ```python import torch.nn as nn from torch.optim import Adam model = YourModel() criterion = nn.CrossEntropyLoss() # 使用Cross Entropy Loss optimizer = Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) if not torch.isnan(loss).any(): loss.backward() # Clip gradients to prevent exploding gradient problem nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值