关于交叉熵损失函数的产生NaN的问题

最新推荐文章于 2025-06-13 14:39:48 发布
最新推荐文章于 2025-06-13 14:39:48 发布
阅读量5.1k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43635122/article/details/84074078
本文探讨了在使用交叉熵损失函数进行分类任务时遇到的问题，即预测概率接近0导致的NaN值，影响模型训练稳定性。提出了使用结合softmax的交叉熵损失函数作为解决方案，避免了直接对预测概率取对数，提高了模型训练的稳定性和效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

常用交叉熵损失函数，常代替均方差损失函数用于分类
loss_function = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),
reduction_indices=1))

但有时用softmax激活的上面的pred，使pred=0或很接近0，导致log（0）值为NaN，造成训练时数据不稳定。

改用结合softmax交叉熵损失函数
loss_function = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=forward,labels=y))
因为上面的forward并没有经过softmax激活。

搭建深度学习框架（七)：softmax+交叉熵损失函数的实现
qq_43790749的博客
02-21 2983
上一节已经实现了LSTM网络的搭建，这一节将实现交叉熵损失函数的搭建和运用，实现对物体的分类。 代码下载地址：xhpxiaohaipeng/xhp_flow_frame 一、softmax+交叉熵损失函数代码实现的原理 1.在经过交叉熵损失函数处理前，输出结果应先经过一个softmax函数处理得到一个总和为1的概率分布。 softmax函数实现如下： 那么softmax函数对y求导，可得导数为： softmax(y)-softmax(y)**2 2.最终将softmax函数的结果输入交叉熵损失函数计算损
softmax函数和交叉熵损失函数
诗蕊的专栏
08-11 6842
在CNN中，全连接层后会加上softmax函数，并且一般用交叉熵函数作为损失函数。这篇文章主要记录softmax把CNN的输出变成概率的过程以及交叉熵如何为优化过程提供度量，并且用python实现。 softmax函数 softmax函数将一个N维向量的输入的每一维都转换成区间维（0，1）之间的一个实数，公式如下： pi=eai∑Nk=1eakpi=eai∑k=1Nekap_i=\frac{...
四、虚拟机字节码执行引擎
qq_32323239的博客
09-22 486
运行时栈帧结构 Java虚拟机以方法作为最基本的执行单元，“栈帧”（Stack Frame）则是用于支持虚拟机进行方法 调用和方法执行背后的数据结构，它也是虚拟机运行时数据区中的虚拟机栈（Virtual Machine Stack）[1]的栈元素。栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息和一些额外的附加信息。 局部变量表 局部变量表（Local Variables Table）是一组变量值的存储空间，用于存放方法参数和方法内部定义 的局部变量。在Java程序被编译为.
训练网络交叉熵loss突然出现nan的情况
qq_41568188的博客
10-05 1884
尝试在MNIST上跑AlexNet，然而发现loss一直下降的时候，在某一时刻突然出现了nan。 在tensorboard上显示如下： 可以看到在最后面的accuarcy突然下降。一开始百思不得其解， 原因其实在于交叉熵中的 y_truth * log(y_predict) log(0) * 0的时候， 则会出现NaN， 一旦出现这个情况，网络训练结果必然完蛋 解决办法其实也很简单： 在交叉熵的公式中加入一个比较小的数： ...
一文搞懂分类问题中的交叉熵损失
最新发布
m0_60610428的博客
06-13 691
本文围绕分类问题中的交叉熵损失展开，先对比其与回归损失（MAE、MSE）的适用场景，从信息论角度解析熵、KL散度与交叉熵的概念及数学关系，推导分类任务中交叉熵与KL散度的等价性。接着详解二分类与多分类的损失公式，通过数值案例展示预测准确性与损失值的关联，对比交叉熵与MSE的梯度特性差异，最后给出PyTorch代码实现，为学习损失函数的同学提供从理论到实践的全面参考。
pytorch 交叉熵损失 出现nan
junjian Li
05-15 1755
1. 问题描述 代码如下: norm_ff = ff / (ff**2).sum(0, keepdim=True).sqrt() coef_mat = torch.mm(norm_ff.t(), norm_ff) coef_mat.div_(self.tau2) L_fd = F.cross_entropy(coef_mat, y) 这是因为计算图中存在.sqrt()，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 2. 解决方法 2.
训练神经网络交叉熵loss变为NaN的解决办法
qq_32464407的博客
01-26 8991
最近继续在用MNIST跑一些简单的MLP玩，发现当把隐节点数从300提高到1000之后训练loss就变成了全程NaN,在网上搜了搜发现原因因为交叉熵loss中用到了log函数，当输入为0时就会出现NaN。一个直接的结局方法是在log的输入中加上一个非常小的数（e.g. 1e-10）。不过如此修改之后，我发现测试loss虽然不是NaN了，却变成了始终振荡，原因是学习率过大所导致的，将学习率调低一个数
pytorch crossentropy为nan
jacke121的专栏
03-21 5722
pytorch crossentropy为nan 交叉熵损失函数的具体为： loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x) 这样当z为0/1时会出现loss为nan的情况 本人的具体原因 网络中用了MultiHeadAttention,attention的mask全为0,这样attention就为nan，造成个别样本的输出特征全...
交叉熵损失函数出现nan
09-15
最后，如果以上方法都无效，你可以尝试使用其他损失函数替代交叉熵损失函数，看看是否能解决NaN值的问题。不同的损失函数可能对模型的鲁棒性和数值稳定性有不同的影响，可以根据具体情况选择合适的损失函数。
解决pytorch 交叉熵损失输出为负数的问题
09-16
总的来说，理解和解决PyTorch中交叉熵损失为负数以及损失变为`nan`的问题，需要深入理解损失函数的数学原理，同时关注模型训练过程中的参数更新和数据处理。通过上述策略，我们可以有效地避免和解决这些问题，确保...
交叉熵损失函数一开始是nan
02-18
### 解决交叉熵损失函数初始化为NaN的方法 在深度学习中遇到交叉熵损失函数初始化为`NaN`的情况通常是由于数值不稳定引起的。具体原因可能涉及输入数据范围不当、权重初始化不合理或优化过程中梯度爆炸等问题。 ##...
tensorflow下怎么解决语义分割交叉熵损失总是nan
jinbeibei0606的博客
05-06 1726
本次训练一个带有语义分割任务的网络，发现语义分割的交叉熵损失一直是nan，而且是从刚开始迭代就是nan，检查了网络一直没发现问题，学习率调小也不起作用，推测是损失函数计算中log传入了０，考虑到用的激活函数是tanh，会产生0值，所以考虑将激活函数换成不带０的sigmoid函数，换完之后发现立马就是正常损失值开始迭代了...
Tensorflow建立深度神经网络时出现nan及交叉熵损失函数的探讨
小白白的博客
01-07 1578
（作者：陈玓玏） 在使用tensorflow建立深度神经网络的过程中，在几次迭代之后发现所有的权重都变为了nan，导致整个网络都无法正常工作。出现这个问题我知道的可能有以下两个原因。 1） 样本未进行归一化 因为每次迭代都要计算σ(x∗ω+b)\sigma(x*\omega+b)σ(x∗ω+b)，而深度神经网络的参数众多，如果样本不进行归一化，很容易出现x∗ω+bx*\omega+bx∗ω+b溢出...
交叉熵损失函数和softmax笔记
scar2016的博客
11-24 1033
文章目录1. 交叉熵定义 1. 交叉熵定义 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，要理解交叉熵，需要先了解下面几个概念 信息量 香农大佬说过"信息是用来消除随机不确定的东西",就是用信息量来表示一个事件从不确定到确定这种状态的量度单位。信息量的大小和信息发生的概率成反比。假设某一事件发生的概率为P(X),我们将信息量I(X)定义如下 I(X)=−log⁡(P(X))(1)I(X)=-\log(P(X))\tag1I(X)=−log(P(X))(1) 信息熵 H(X) 信息熵表
tensorflow学习（一）：关于tensorflow交叉熵损失函数的一些理解
zlrai5895的博客
05-20 2771
1、tf.nn.softmax_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, dim=-1, name=None) sentinel 一般不用  labels 和logits形状相同 都是[batch_size,num_classes] 其中labels可以是one-hot的形式，也可以是和为1的概率分布。...
计算loss时binary_cross_entropy的值出现负数 nan无穷大
qq_36011385的博客
03-02 4511
问题描述： 使用torch的binary_cross_entropy计算分割的loss时，前几个epoch的值确实是正的，但是训到后面loss的值一直是负数 解决方案： 后面发现自己输入的数据有问题，binary_cross_entropy输入的target和input数值范围需要在0-1之间,调试的时候发现是target label输入的数值有0，1，2,修改之后就正常了、 binary_cross_entropy输入的target和input数值范围需要在0-1之间 torch.nn.function
记记关于tensorflow训练模型时出现损失函数为NAN问题
热门推荐
u013732444的博客
06-16 1万+
交叉熵损失函数输出NAN的问题： 之前使用tensorflow训练模型，开始的一段迭代周期，模型的预测准确率一直在上升，徘徊一段时间后，准确率骤减，直至到随机猜测的水平，开始以为是模型出了问题，就修改了一下代码，记录训练过程中的误差，希望通过误差曲线，分析是否模型的问题。结果绘图出错，将损失数组输出看了一下，发现后期的损失值都是0。在网上查询，发现是损失函数的特性造成的，在交叉熵损失函数中，会计
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值