tensorflow下怎么解决语义分割交叉熵损失总是nan

最新推荐文章于 2024-08-03 20:37:29 发布
最新推荐文章于 2024-08-03 20:37:29 发布
阅读量1.7k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： tensorflow 训练网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jinbeibei0606/article/details/80216913
本文介绍了一种解决语义分割任务中交叉熵损失为NaN的方法。通过分析原因并调整网络中的激活函数从tanh改为sigmoid，成功解决了损失值异常的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本次训练一个带有语义分割任务的网络，发现语义分割的交叉熵损失一直是nan，而且是从刚开始迭代就是nan，检查了网络一直没发现问题，学习率调小也不起作用，推测是损失函数计算中log传入了０，考虑到用的激活函数是tanh，会产生0值，所以考虑将激活函数换成不带０的sigmoid函数，换完之后发现立马就是正常损失值开始迭代了

【知识点】语义分割任务中有哪些损失函数？
q742971636的博客
05-16 110
本文详细介绍了语义分割任务中常用的损失函数 ，并重点加入了边界感知损失（Boundary Loss） ，以解决图像分割中常见的边界模糊问题。
MATLAB算法实战应用案例精讲-【人工智能】语义分割（最终篇）(附实战应用案例及代码实现)
qq_36130719的博客
01-02 1958
SETR 是首个在分割任务上超越 CNN 的 Transformer 网络结构，该论文作者认为，虽然 FCN 及其衍生网络都取得了较好的成绩，但本质上都是 encoder-decoder 的结构，所以，该论文作者想要将分割任务构建成一个 sequence-to-sequence 的结构，所以就提出了一个纯 Transformer 的结构（无 CNN 和分辨率降低）。HRNet 通过将由高到低的分辨率特征结合起来的方式，实现对高分辨率特征的保留，并且不同分辨率的特征也进行了信息交换。
混淆矩阵计算Accuracy，IoU，dice等评价指标出现nan值
weixin_45011313的博客
08-18 5118
accuracy出现nan值，一定要考虑数据是否正确！！！！
四、虚拟机字节码执行引擎
qq_32323239的博客
09-22 489
运行时栈帧结构 Java虚拟机以方法作为最基本的执行单元，“栈帧”（Stack Frame）则是用于支持虚拟机进行方法 调用和方法执行背后的数据结构，它也是虚拟机运行时数据区中的虚拟机栈（Virtual Machine Stack）[1]的栈元素。栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息和一些额外的附加信息。 局部变量表 局部变量表（Local Variables Table）是一组变量值的存储空间，用于存放方法参数和方法内部定义 的局部变量。在Java程序被编译为.
关于交叉熵损失函数的产生NaN的问题
qq_43635122的博客
11-14 5114
常用交叉熵损失函数，常代替均方差损失函数用于分类 loss_function = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1)) 但有时用softmax激活的上面的pred，使pred=0或很接近0，导致log（0）值为NaN，造成训练时数据不稳定。 改用结合softmax交叉熵损失函数 loss_functi...
pytorch 交叉熵损失 出现nan
junjian Li
05-15 1755
1. 问题描述 代码如下: norm_ff = ff / (ff**2).sum(0, keepdim=True).sqrt() coef_mat = torch.mm(norm_ff.t(), norm_ff) coef_mat.div_(self.tau2) L_fd = F.cross_entropy(coef_mat, y) 这是因为计算图中存在.sqrt()，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 2. 解决方法 2.
训练网络交叉熵loss突然出现nan的情况
qq_41568188的博客
10-05 1884
尝试在MNIST上跑AlexNet，然而发现loss一直下降的时候，在某一时刻突然出现了nan。 在tensorboard上显示如下： 可以看到在最后面的accuarcy突然下降。一开始百思不得其解， 原因其实在于交叉熵中的 y_truth * log(y_predict) log(0) * 0的时候， 则会出现NaN， 一旦出现这个情况，网络训练结果必然完蛋 解决办法其实也很简单： 在交叉熵的公式中加入一个比较小的数： ...
图像语义分割-----SegNet学习笔记+tensorflow
qq_41576083的博客
12-12 5957
SegNet网络是一个像素级的语义分割模型，即会针对图像中的每一个像素，对每一个像素进行分类，去识别该像素属于的类别，整个网络分为4层下采样以及4层上采样，最后将一个[W, H, 3]的输入图像处理成[W, H, NUM_CLASSES]的向量，再通过softmax进行分类，转化为[W, H, 1]的张量，再对属于不同种类的像素分别涂上不同的颜色，从新变成[W, H, 3]的图像，但是其中的物体以...
语义分割-地表建筑物识别的一种解决方案
qq_45798276的博客
12-08 2914
卷积理论 一，参考博客 1，为什么卷积核为四维
深度学习模型解析：从Transformers到图像分割与损失函数的应用
最新发布
百态老人的博客
08-03 957
位置编码使得Transformers模型能够处理和理解序列数据中的位置信息，从而在许多自然语言处理任务中表现出色。
高级实训任务二U-Net图像分割实验报告
lmk000817的博客
01-23 3300
高级实训任务二U-Net图像分割实验报告 1.任务描述 ● 将卷积神经网络（CNN）应用在图像分割任务上，我们需要对网络结构进行设计。 ● 需要提交博客报告以及GitHub代码仓库。 ● 可选的任务：图像实例分割、语义分割、医疗图像分割。 ● 可选的网络结构：YOLO v3、Mask R-CNN、U-Net。 ● 可选的数据集：参考下文： ● https://zhuanlan.zhihu.com/p/50925449 ● 可选深度学习框架：Tensorflow、PyTorch、Keras。 ● 提交结果：项
模型训练过程中出现的loss:nan
lovebabyhai的博客
08-04 1548
问题描述： 在使用u-net进行语义分割训练时，最初使用数据A训练没有任何问题，随后将数据B添加到数据A中重新训练u-net出现loss：nan，由于添加数据之前模型能够正常运行，初步排除是模型问题，分析可能的原因有： （1）数据A与数据B差异性太大； （2）数据B中数据有问题 为此，进行了实验，分别是： （1）在数据A中剔除数据B并添加其他与A相同来源的数据C，数据集为A+C，训练u-net----------结果：模型正常 （2）只使用数据B训练模型，---------结果：loss：nan
Tensorflow建立深度神经网络时出现nan及交叉熵损失函数的探讨
小白白的博客
01-07 1578
（作者：陈玓玏） 在使用tensorflow建立深度神经网络的过程中，在几次迭代之后发现所有的权重都变为了nan，导致整个网络都无法正常工作。出现这个问题我知道的可能有以下两个原因。 1） 样本未进行归一化 因为每次迭代都要计算σ(x∗ω+b)\sigma(x*\omega+b)σ(x∗ω+b)，而深度神经网络的参数众多，如果样本不进行归一化，很容易出现x∗ω+bx*\omega+bx∗ω+b溢出...
训练神经网络交叉熵loss变为NaN的解决办法
qq_32464407的博客
01-26 8992
最近继续在用MNIST跑一些简单的MLP玩，发现当把隐节点数从300提高到1000之后训练loss就变成了全程NaN,在网上搜了搜发现原因因为交叉熵loss中用到了log函数，当输入为0时就会出现NaN。一个直接的结局方法是在log的输入中加上一个非常小的数（e.g. 1e-10）。不过如此修改之后，我发现测试loss虽然不是NaN了，却变成了始终振荡，原因是学习率过大所导致的，将学习率调低一个数
pytorch crossentropy为nan
怡宝2号
08-22 6413
**问题：**用pytorch的crossentropy做损失函数的时候，迭代几步之后loss为nan。 交叉熵损失函数的具体为： loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x) 这样当z为0/1时会出现loss为nan的情况 参考解决方案 在pred_x上加一个很小的量，如1e-10 loss = crossentropy(o...
计算loss时binary_cross_entropy的值出现负数 nan无穷大
qq_36011385的博客
03-02 4513
问题描述： 使用torch的binary_cross_entropy计算分割的loss时，前几个epoch的值确实是正的，但是训到后面loss的值一直是负数 解决方案： 后面发现自己输入的数据有问题，binary_cross_entropy输入的target和input数值范围需要在0-1之间,调试的时候发现是target label输入的数值有0，1，2,修改之后就正常了、 binary_cross_entropy输入的target和input数值范围需要在0-1之间 torch.nn.function
记记关于tensorflow训练模型时出现损失函数为NAN问题
u013732444的博客
06-16 1万+
交叉熵损失函数输出NAN的问题： 之前使用tensorflow训练模型，开始的一段迭代周期，模型的预测准确率一直在上升，徘徊一段时间后，准确率骤减，直至到随机猜测的水平，开始以为是模型出了问题，就修改了一下代码，记录训练过程中的误差，希望通过误差曲线，分析是否模型的问题。结果绘图出错，将损失数组输出看了一下，发现后期的损失值都是0。在网上查询，发现是损失函数的特性造成的，在交叉熵损失函数中，会计
交叉熵损失函数
热门推荐
William Zhao's notes
10-05 7万+
一、香农熵 香农熵   1948 年，香农提出了“信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这
交叉熵损失函数出现nan
09-15
最后，如果以上方法都无效，你可以尝试使用其他损失函数替代交叉熵损失函数，看看是否能解决NaN值的问题。不同的损失函数可能对模型的鲁棒性和数值稳定性有不同的影响，可以根据具体情况选择合适的损失函数。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值