关于训练损失是空的局限性解答Train Loss: nan l Val Loss: nan

于 2024-11-08 11:23:24 发布
阅读量151 收藏
点赞数 2
分类专栏： 资料 文章标签： 人工智能 机器学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46581836/article/details/143619235
版权

在这里插入图片描述
如果数据集有很多连续的0，归一化如果直接调用torch的01归一化，计算过程中就会除以0，出现null，跟数据集数量大小没关系。我的解决方法是，把0的位置加上0.00001，就不报错了，影响应该有但是很小

train loss: nan acc: nan test loss: nan acc: nan
Zhang_xi_xi_94的博客
08-30 1950
在TensorFlow框架下训练卷积模型时，在初始阶段就出现了这样的情况： epoch: 1 train loss: nan acc: nan test loss: nan acc: nan best test acc: 0 改动了损失函数，但是问题依然没有解决，后边发现时因为给数据参数传入数值时存在空的部分#对数据进行分batch处理 def into_batch(data_pro,data...
训练神经网络时train loss或是validation loss出现nan
qq_41663215的博客
08-28 5639
最近使用带有SE block的网络在pytorch框架下做训练。training loss 随着epoch增多不断下降，但是突然到某一个epoch出现loss为nan的情况，但是两三个epoch之后，loss竟然又恢复正常，而且下降了。 这几篇博客是我debug的借鉴，真的非常有用。 这篇介绍了出现nan的基本解决思路。 https://blog.youkuaiyun.com/qq_32799915/article/details/80612342 这篇介绍了为什么在多层dense layer之后某一层dense la
模型训练中出现loss为NaN怎么办？
Thomas_Cai的记忆殿堂
07-18 5222
模型训练中出现loss为NaN原因
keras使用yolov3训练自己的数据时出现- val_loss: nan
qq_30551297的博客
02-13 1592
先说方法，关闭加载预训练，在train.py进行如下修改，将load_pretrained 改为Fasle
训练网络loss出现Nan解决办法
weixin_46525182的博客
08-10 1808
nan解决方法
目标检测出现loss为Nan的情况分析
gbyy42299的博客
12-13 3081
背景 在训练检测网络，比如faster rcnn等时，有时候会出现loss=Nan的情况，根据自己的调参经验总结一下。 可能情况 个人发现的可能情况如下几种： 1、编译的时候gpu arch设置有问题，导致编译后的包有问题。 在lib下的setup.py脚本中找到对应的地方，根据https://arnon.dk/matching-sm-architectures-arch-and-gencode-...
解决办法：Train Loss = nan Val Loss = nan
m0_73537452的博客
09-10 389
自己上网搜了也没找到解决办法，无奈求助师兄，帮我调了下，发现是这个参数的初始化问题，不知道为啥之前那种初始化参数的方式得到的是全为0的参数矩阵，就导致了梯度消失。果然后来改成正态初始化就正常了。最近，改了基线代码的注意力部分，加了一个可学习权重系数，没有报错，但是出现了“Train Loss = nan Val Loss = nan”的结果。
matlab损失函数出现nan,[译]在训练过程中loss出现NaN的原因以及可以采取的方法。...
weixin_39631263的博客
03-18 673
1.梯度爆炸原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。症状：观察输出日志(runtime log)中每次迭代的loss值，你会发现loss随着迭代有明显的增长，最后因为loss值太大以致于不能用浮点数去表示，所以变成了NaN。可采取的方法：1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级(至少)。如果在你的模型中有多个loss层，就不能降...
用keras搭建RNN（如LSTM、GRU），训练时出现loss为nan（not a number）
Miaulxixi的博客
10-23 4544
@用keras搭建RNN（如LSTM、GRU），训练时出现loss为nan（not a number） 问题描述： 用keras搭建RNN（如LSTM、GRU）实现（label = 6）分类问题，训练时出现loss为nan（not a number），训练精度不变为0.1667。我处理的数据为csv文件，2750行181列。 需处理的数据为csv文件，2750行181列。 训练从第一个epoch的开始就出现了train_loss和valid_loss为nan的问题。 网络结构是两层lstm单元数分别为32
自制数据集训练和测试loss均为nan
qq_37766088的博客
04-05 1227
自制数据集训练和测试loss均为nan 在B站上看了tf2.0的教程，尝试了一下自己制作数据集，然后就碰到了训练一开始loss就为nan的尴尬窘境。 原因 查了半天，大体上有以下几种原因： 1.学习率过高 在model.compile中修改学习率 标记文本 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/Command + I 标题：Ctrl/Command + Shift + H 无序列表：Ctrl/Co
loss回传遇到的类型错误 loss出现nan
02-19 1951
RuntimeError: expected dtype Float but got dtype Long (validate_dtype at ..\aten\src\ATen\native\TensorIterator.cpp:143) (no backtrace available) loss=criterion(outputs.float(),targets.float()) .long() .float() .double() val_mape_loss=[] val_mse_loss=.
训练模型中出现loss连续为nan的解决办法
wang_ningning的博客
04-25 1802
1、优先查看数据，数据中如果有空数据就会出现连续loss为nan，去除空白数据 data=data.dropna() 2、梯度爆炸 减小学习率，减小batch_size 3、数据归一化 4、网络的结构化不合理，隐含层，神经元个数 5、更换参数初始化方法 对于CNN，一般用xavier或msra方法（这个方法我没用过，只是看到有这个解决办法） 我使用第一种方法就解决了问题 ...
pytorch训练过程中出现nan的排查思路
上帝是个娘们的博客
12-11 2万+
最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。 在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。 前面两条还不能解决nan的话，就按照下面的流程来判.
警惕！损失Loss为Nan或者超级大的原因
热门推荐
lrt366的博客
07-28 5万+
转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...
训练网络的时候Loss突然变为nan
m0_65591206的博客
08-29 2497
训练网络的时候Loss突然变为nan！如果你查阅了很多资料也没有解决，试试这个。
yolo-tiny在训练过程中出现的loss不断下降，val_loss为nan的问题
阿昕蜡笔的博客
05-11 7585
yolo-tiny在训练过程中出现的loss不断下降，val_loss为nan的问题 在使用yolo-tiny模型训练自己的数据时，出现了这样的问题 找了很多博客没有找到解决方法，减小学习率增大batch_size等等通通不管用 后来想了下，可能原因是我的数据集太小了，总共只有300张图片，8成测试也就是200多张，导致模型过拟合了… 还没找打解决方法，准备试试增加数据集会怎么样 哪位大神要是知道其他的什么原因请一定告诉我 ...
训练loss不断下降看似快收敛，一到val_loss就nan上加nan
dongmen2345的博客
03-11 3024
暴躁的一天。 原本我打算跑一下DenseNet，之前用的自己的数据集都很ok，测试的数据也很nice，想着换NYU v2也是手到擒来。 结果跑了两周都没搞定，奇耻大辱。 问题1：法向图渲染 50000张深度图搞了三天才完成，python的代码跑起来还不如matlab，老老实实搞完了发现尺寸不对，得到的法向图有黑边，原来最后人家用了个mask截取。不认真看代码想白嫖的后果就是这样。 问题2：tensorflow1.0 2.0版本问题 之前用的1.13.1跑没有问题，这次因为python版本变成了3
前端累加nan怎么解决_训练网络loss出现Nan解决办法
weixin_39876595的博客
12-04 2331
训练网络loss出现Nan解决办法一.原因一般来说，出现NaN有以下几种情况：1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（...
我最近在训练一个基于resnet50的医学模型，其目的是对八种眼疾类型进行分类。数据集情况为：train:val=8:2，分别为：AMD：trian2000，白内障：train1600，糖尿病诱发眼部疾病：train2288，青光眼：train1766，高血压视网膜变性：train800，近视眼：train：1640，正常：2000，其他病情：560。但是我在训练的过程中遇到了验证集准确率停滞不前的情况，能帮我分析一下吗？以下是我的训练日志和训练代码。 D:\dev\anaconda\envs\pytorch\python.exe D:\dev\python\pyWork\LoveEyes\train.py data loaded SE_ResNet50 initialized train started 100%|██████████| 396/396 [01:33<00:00, 4.26it/s] Epoch 1/80 Train Loss: 1.0961 | Acc: 50.46% Val Loss: 0.6524 | Acc: 59.42% 当前学习率: 1.20e-06 梯度均值: 0.0482 ± 0.0729 -------------------------------------------------- 100%|██████████| 396/396 [01:31<00:00, 4.32it/s] Epoch 2/80 Train Loss: 0.8991 | Acc: 58.93% Val Loss: 0.5979 | Acc: 63.35% 梯度均值: 0.0476 ± 0.0733 -------------------------------------------------- 100%|██████████| 396/396 [01:30<00:00, 4.38it/s] Epoch 3/80 Train Loss: 0.8245 | Acc: 62.98% Val Loss: 0.5621 | Acc: 65.05% 梯度均值: 0.0482 ± 0.0729 -------------------------------------------------- 100%|██████████| 396/396 [01:32<00:00, 4.27it/s] 0%| | 0/396 [00:00<?, ?it/s]Epoch 4/80 Train Loss: 0.7970 | Acc: 65.51% Val Loss: 0.6652 | Acc: 61.77% 梯度均值: 0.0489 ± 0.0724 -------------------------------------------------- 100%|██████████| 396/396 [01:35<00:00, 4.13it/s] 0%| | 0/396 [00:00<?, ?it/s]Epoch 5/80 Train Loss: 0.7609 | Acc: 66.82% Val Loss: 0.5667 | Acc: 64.19% 梯度均值: 0.0603 ± 0.1552 -------------------------------------------------- 100%|██████████| 396/396 [01:38<00:00, 4.02it/s] Epoch 6/80 Train Loss: 0.6883 | Acc: 71.16% Val Loss: 0.4882 | Acc: 69.25% 当前学习率: 3.00e-07 梯度均值: nan ± nan -------------------------------------------------- 100%|██████████| 396/396 [01:35<00:00, 4.13it/s] Epoch 7/80 Train Loss: 0.6490 | Acc: 72.99% Val Loss: 0.4740 | Acc: 69.99% 梯度均值: 0.0481 ± 0.0688 -------------------------------------------------- 100%|██████████| 396/396 [01:37<00:00, 4.08it/s] Epoch 8/80 Train Loss: 0.6278 | Acc: 74.27% Val Loss: 0.5019 | Acc: 69.19% 梯度均值: 0.0490 ± 0.0724 ----
最新发布
03-21
嗯，用户的问题是关于ResNet50在医学图像分类任务中遇到的验证集准确率停滞和梯度NaN的问题。首先，我需要回忆一下常见的训练深度学习模型时可能遇到的问题。验证集准确率停滞可能有多个原因，比如数据问题、模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

懒羊羊吃辣条

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值