loss=nan解决办法

最新推荐文章于 2025-06-27 09:10:58 发布
最新推荐文章于 2025-06-27 09:10:58 发布
阅读量1.8w 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Bugs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Cheese_pop/article/details/52025445

训练网络时出现loss=nan的情况，caffe不会报错，但是显然这样是不对的。
loss=nan
将solver.prototxt文件中的base_lr减小一点之后，这个问题就不再出现了。我一般先将base_lr降为原来的0.1倍，一般这样就可以了，如果实在不行的话就再降10倍。

好像知道为什么这样就可以，learning rate到底是怎么影响整个网络的捏？

pytorch训练过程中loss出现NaN的原因及可采取的方法
jacke121的专栏
10-03 1万+
在pytorch训练过程中出现loss=nan的情况 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target 5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，...
神经网络模型、loss不收敛、不下降，loss=87.33，loss=0.6931，原因和解决办法
hemancute的博客
09-10 1万+
一、模型不收敛 主要有以下几个原因： 1、learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发生溢出，bp后所有的weight会变成NAN，然后从此之后weight就会一直保持NAN，于是loss...
使用单卡qlora混合精度训练大模型chatGLM2-6b，解决qlora loss变成nan的问题！
高颜值的杀生丸(此博客转载自我的博客园)
11-02 945
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatGLM2-6b 模型我已经从huggingface 下载到服务器，因为我的服务器不能直接连接hug...
网络训练时出现loss为nan的情况(已解决)
热门推荐
qq_44846512的博客
10-30 1万+
最近在使用SSD网络跑自己的数据集时，训练刚开始就出现loss=nan值的情况，经过多方查找资料，发现训练过程中loss出现nan值时，一般是下列问题导致的： 数据集的问题，可能存在数据本身就存在nan值，或者标注box的坐标不符合要求，比如xmax<xmin(参考) 网络结构的问题，可能网络本身设计不合理，如果是直接使用的开源代码，应该不会出现这个问题。 学习率设置过高，可以设置不同的且相差较大的学习率来观察loss的变化，如果无论学习率如何变，loss始终还是nan值，可能就不是这个问
OpenVLA模型LoRA微调中NaN损失问题的分析与解决
最新发布
gitblog_07519的博客
06-27 333
OpenVLA模型LoRA微调中NaN损失问题的分析与解决 问题背景 在机器人学习领域，OpenVLA作为一个开源的视觉语言动作模型，因其强大的多模态理解和动作生成能力而备受关注。近期，有开发者在尝试使用LoRA（Low-Rank Adaptation）方法对OpenVLA-7B模型进行微调时，遇到了训练损失变为NaN（非数值）的问题，导致模型无法正常学习。 现象描述 开发者在三个不同的机器人操作...
训练model过程中，loss=nan问题时该怎么解决？
u011630472的博客
08-08 1008
当我在UCF-101数据集训练alexnet时，epoch设为100，跑到三十多个epoch时，出现了loss=nan问题，当时是一脸懵逼，在查阅资料后，我通过减小学习率解决了问题，现总结一下出现这个问题的可能原因及解决方法： 1. 减小整体学习率。学习率比较大的时候，参数可能over shoot了，结果就是找不到极小值点； 减小学习率可以让参数朝着极值点前进； 2. 改变网络宽度。有可能是网络后面的层参数更新异常，增加后面层的宽度试试； 3. 改变层的学习率。每个层都可以设置学习率，可以尝试减小后...
训练过程中，loss参数出现NAN怎么解决？
qq_36604702的博客
05-23 450
参考
训练过程中Loss函数出现Nan的可能原因
Jacob's blog
07-03 4548
综合我做过的一些实验，记录一下实验过程中Loss出现Nan的一些可能原因： 最简单的，学习率过大。 BTW, 学习率过大还可能导致收敛到一个定值之前实验室的师姐拿云图做DNI分类的结果最后都收敛到同一个数值，结果我后来一看也是学习率过大导致的。 其中的原因我猜测是使用了ReLU激活函数以后，某一步跨入了一个点，使得出现了dead neuron的现象，然后前面的参数全部不更新，导致最后的结果变成了定值。 坏样本的加入 比如一个样本的全是0，你减去均值除以方差以后就变成了nan，你自己不会发现，进入神经
训练过程出现loss=nan,reg=nan和cont=nan的情况记录
ruichuang2的博客
08-15 965
无
模型训练中出现loss为NaN怎么办？
Thomas_Cai的记忆殿堂
07-18 5643
模型训练中出现loss为NaN原因
训练网络出现loss为NaN的情况
VioletHan7的博客
08-24 3720
1.梯度爆炸 原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察输出日志中每次迭代的loss值，发现loss随着迭代有明显的增长，最后因为loss值太大以致于不能用浮点数去表示，所以变成NaN。 可采取的方法： 1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级。如果在你的模型中有多个loss层，就不能降低基础的学习率base_l...
深度学习网络训练，Loss出现Nan的解决办法
不要给自己设限，尝试更多可能（思所向 皆可往）
04-23 5457
模型的训练不是单纯的调参，重要的是能针对出现的各种问题提出正确的解决方案。本文就训练网络loss出现Nan的原因做了具体分析，并给出了详细的解决方案，希望对大家训练模型有所帮助。一、原因如果在迭代的100轮数以内，出现NaN，一般情况下的原因是你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
【亲测】神经网络训练时出现loss=nan或loss不变的解决办法
langzi453的博客
12-10 1万+
       今天用最原始的tensorfow.nn.conv2d构建一个三层CNN网络并基于MNIST数据集训练的时候出现了loss=nan的情况，折腾了一晚上，摸索出几个的解决方案。        1.在loss函数某个位置添加了1e-10： cross_entropy = tf.reduce_mean(-tf.reduce_sum(output * tf.log(prediction+...
【机器学习技巧】-训练过程中，loss参数出现NAN怎么解决？解决方案汇总？
小坏蛋的博客
03-26 1万+
深度神经网络在训练过程中，loss参数出现NAN怎么解决？解决方案？
训练网络loss出现Nan解决办法
weixin_43960370的博客
04-13 1937
6.在某些涉及指数计算，可能最后算得值为INF（无穷）（比如不做其他处理的softmax中分子分母需要计算exp（x），值过大，最后可能为INF/INF，得到NaN，此时你要确认你使用的softmax中在计算exp（x）做了相关处理（比如减去最大值等等））调试中你可以使用一个简单的网络来读取输入层，有一个缺省的loss，并过一遍所有输入，如果其中有错误的输入，这个缺省的层也会产生NaN。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“
训练Nan问题分析
yunxinan的专栏
07-23 1364
训练深度模型时候出现Nan的原因和解决方法：这种情况个人总结是training sample中脏数据导致梯度计算的时候爆炸或者消失导致失去梯度没法训练。解决方法：（1）数据归一化主要是图像的尺寸要同一，各个类别要均衡及标签中尽量少含有空格，数据归一化的方法（减均值、除方差、加入Batch Normalization、L2 norm）;(2)更新参数初始化方法（Xavier、mars）;(3)减小学...
模型训练中出现NaN Loss的原因及解决方法
豆芽菜
05-23 1万+
1 梯度爆炸 原因：学习的过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察每次迭代的loss值，会发现loss明显增长，最后因为loss值太大以至于不能用浮点去表示，所以变成了Nan。 可采取的措施：1 降低学习速率，2 如果模型中有多个loss层，就需要找到梯度爆炸的层，然后降低该层的loss weight。 2 学习率过高 原因：过高的学习率乘上所有的梯度使得所有参数变成无效的值。 症状：观察输出日志，会发现学习率变成nan 可采取的措施：设置合适的学习速率 3 损失函数
[深度学习]lora模型训练总结
FL1623863129的博客
06-13 2034
经过测试发现，在训练第1个epoch生成最真实而且情况也符合自己预期，但是在后续epoch里面生成情况越来越差，导致生成图像已经不符合实际要求。此外经过测试发现vega ai这个网址生成模型要比我自己训练的模型更好，而且他这个只训练15分钟，不知道什么原因。可能网站训练参数比默认要好吧。1、lora训练不是训练越多越好，有可能存在过拟合情况，以下是20张绝缘子训练的图片。
秋叶Lora训练器遇到NaN detected
闪闪的红星的专栏
10-20 5739
需要在保存格式上，不要选fp16，而是选择bf16.
yolov8训练过程的loss全是nan
03-08
### YOLOv8 训练 Loss 出现 NaN 的原因分析 在处理YOLOv8训练过程中遇到loss值变为NaN的情况，通常意味着数值计算出现了不稳定现象。这可能是由于梯度爆炸、学习率设置过高或者数据预处理不当等原因造成的[^2]。 ### 配置调整建议 对于此类问题的一个有效解决办法是在配置文件中禁用自动混合精度（Automatic Mixed Precision, AMP）。具体操作为找到`ultralytics/cfg/default.yaml`文件并定位到AMP选项，将其设为`False`： ```yaml # ultralytics/cfg/default.yaml ... amp: False ``` 通过关闭AMP功能可以减少因浮点数运算不精确而导致的数值溢出风险，从而有助于稳定训练过程[^1]。 ### 数据集检查与清理 除了修改配置外，还需要仔细核查所使用的训练数据集是否存在异常情况。确保输入图像尺寸一致，并且标注框坐标合法合理；另外也要注意去除可能含有极端值或错误标记的数据样本，因为这些都会影响模型收敛性能。 ### 学习率调节策略 适当降低初始学习率也是应对Loss变成NaN的有效手段之一。过高的学习速率可能会使权重更新幅度过大进而引发梯度发散等问题。可以在训练初期采用较小的学习率逐步提升至目标水平，这样可以让网络更平稳地进入正常工作状态。 ### 代码实现示例 为了更好地控制训练流程中的各个细节，在实际编程实践中可以根据需求自定义一些辅助函数来监控和调试模型表现： ```python def adjust_learning_rate(optimizer, epoch): """动态调整优化器的学习率""" lr = initial_lr * (gamma ** (epoch // step_size)) for param_group in optimizer.param_groups: param_group['lr'] = lr def check_nan_losses(losses_dict): """检测当前batch是否有任何loss项变成了nan""" has_nan = any(torch.isnan(loss).any().item() for loss in losses_dict.values()) if has_nan: print("Warning: Detected NaN values in the following losses:", {k:v.item() for k,v in losses_dict.items()}) raise ValueError('Training interrupted due to NaN detection.') ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值