Softmax和交叉熵损失函数反向传播推导

最新推荐文章于 2025-06-21 15:45:00 发布
原创 最新推荐文章于 2025-06-21 15:45:00 发布 · 2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#反向传播

探讨了Softmax激活函数在神经网络中为何通常不作为中间层使用，以及其与交叉熵损失函数配合在输出层发挥的强大效果。揭示了这种组合如何避免数值稳定性和梯度消失问题，为分类任务提供更优解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
当softmax作为中间层的激活函数时，会导致小数相乘，使得效果很不好，所以softmax一般和交叉熵损失函数一起使用，放在最后一层。

机器学习4. 交叉熵损失函数与softmax回归的反向传播推导
xd_ljq的博客
04-15 848
在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下： 交叉熵损失函数 (1)C(a,y)=−∑iyilnaiC(a,y)=-\sum_i{y_i ln a_i} \tag{1}C(a,y)=−i∑​yi​lnai​(1) softmax逻辑回归 第iii个输出值aia_iai​为： (2)ai=ezi∑kezka_i...
softmax-交叉熵损失函数的求导计算推导
pq4362050的博客
02-22 1184
目前大部分多分类任务对最后一层的输出做softmax，然后使用交叉熵作为损失函数，再对loss求导反向传播来更新w，经过多轮训练得到训练好的w，这就是模型。 我相信许多刚入门的machine learninger只是知道该这么用，但是不明白为什么这样就可以更新w了，下面推导最后一层的导数 最后一层的第i个输出是 其对应的softmax处理是 输入公式太麻烦了 还是手写的吧 ...
多分类（Softmax）交叉熵损失函数反向传播推导
Wilhelm_M的博客
06-28 677
上面这一点也提醒我们，多分类交叉熵损失函数只适用于单标签的多分类任务，不适用于该函数训练多标签分类任务（本人惨痛教训），切记。在上一篇随笔中，我提到了多分类（Softmax）交叉熵损失函数反向传播为。注意到，上式右边偏导数的算法取决于。所求的反向传播，实际上是损失函数。因为对于多分类任务，真实值。是否相等，因此我们将上式分开。，但并未证明，现将证明过程附上。是one-hot向量，所以。
神经网络中的交叉熵（Cross-Entropy）损失函数详解
最新发布
不积跬步，无以至千里；不积小流，无以成江海。
06-21 997
在神经网络和机器学习领域，损失函数是衡量模型预测值与真实值之间差异的核心工具。交叉熵（Cross-Entropy）损失函数，作为一种广泛使用的分类损失函数，尤其在处理多分类问题时表现出色。它不仅具有坚实的理论基础，还在实际应用中展现出卓越的性能。
Softmax 与交叉熵损失函数的反向传播公式推导
zhangchaosd的博客
10-09 2193
Softmax 与交叉熵损失函数的反向传播公式推导 一、正向传播 用一个 X 举例，假设 S 为最后一层全连接层的输出，S 是一个长度为 c 的行向量，其中元素的含义为 c 个类分别的得分，即 s1s_1s1​ 为 X 在第一个类的得分，以此类推。 S={s1, s2, s3, …, sc}(1) \huge S=\{s_1,\ s_2,\ s_3,\ \dots,\ s_c\}\tag{1} S={s1​, s2​, s3​, …,&n
softmax反向传播
qq_39861441的博客
09-06 389
详见https://zhuanlan.zhihu.com/p/37740860
softmax 反向传播
yiranlun3的专栏
11-27 9262
and the model parameters θ were trained to minimize the cost function Notice that this generalizes the logistic regression cost function, which could also have been written:
softmax交叉熵损失函数的深度理解
m0_61363749的博客
08-11 1971
最近拜读了一名优秀学者的博士毕业论文，深受启发。论文题目《基于深度学习的人脸认证方法研究》。损失函数是控制整个深度神经网络训练的中枢，该论文将深入探究了深度学习中的机理，并把之前广泛用于的和多种用于的改造得更加适合的训练。该论文对传统的 Softmax 交叉熵损失函数以及新提出的一系列改进进行了大量的理论分析，有别于传统理论更多的偏向概率解释，该论文中提出的理论分析大多是基于特征、权重之间的几何关系与统计量进行的，由于特征与权重相比于Softmax 概率更加底层，因此能够得到更多的数学结论。......
神经网络适用于分类问题的最后一层-Softmax和交叉熵损失介绍及梯度推导
qq_42734797的博客
12-06 3859
前言 传统机器学习中两大经典任务就是回归与分类。分类在深度学习中也很常见，令我印象最深的是图像分类。当然，在NLP中，分类也无处不在。从RNN与其变体，到Transformer、Bert等预训练模型，只要涉及到在词表中挑选单词，就可以使用分类任务的思路来解决。在深度学习模型中，区分回归还是分类，往往只需要看最后一层的激活函数以及损失函数。这里有一个定式：凡是采用Softmax+CrossEntropyLoss\mathrm{Softmax+CrossEntropy Loss}Softmax+CrossEnt
简单易懂的softmax交叉熵损失函数求导
热门推荐
绝望的乐园
09-20 7万+
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可...
softmax函数反向传播
Wild_Young的博客
12-13 3263
1.softmax函数 设，， 则，显然。 例如：，则 2.softmax函数求导 （1）当i=j时 （2）当i!=j时 综上所述： 所以 3.softmax 函数的一个性质 这里X是向量，c是一个常数。下面证明左右两边的每一个分量相等。 证明： 实际应用：为了防止溢出，事先把x减去最大值。最大值是有效数据，其他值溢不溢出可管不了，也不关心。 4.softmax函数+交叉熵代价函数 这里的是真实值，是训练的目标，取0或1.在求导的时候是常量。是...
【神经网络】08 - 损失函数&反向传播
SmallBamboo的博客
05-01 3631
损失函数：在深度学习模型中，损失函数（Loss Function）是一种衡量模型预测与真实值之间差距的函数。换句话说，它是模型的性能指标。在训练过程中，我们的目标就是找到一组参数，它们可以最小化损失函数。常见的损失函数有均方误差（MSE, Mean Squared Error），交叉熵（Cross Entropy）等。我之前学的人工智能原理中的方差代价函数也属于这里的损失函数。
反向传播算法-损失函数&激活函数
aohun0743的博客
03-22 1912
在监督学习中，传统的机器学习算法优化过程是采用一个合适的损失函数度量训练样本输出损失，对损失函数进行优化求最小化的极值，相应一系列线性系数矩阵W，偏置向量b即为我们的最终结果。在DNN中，损失函数优化极值求解的过程一般采用梯度下降法、牛顿法或拟牛顿法等迭代方法来迭代完成。对DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为反向传播算法，可以使用多种损失函数和激活函数。 1. 均...
softmax函数_反向传播之一：softmax函数
weixin_39638801的博客
12-18 502
最好的学习方法就是把内容给其他人讲明白。如果你看了我的文章感觉一头雾水，那是因为我还没学透。我目前的理解是：反向传播是神经网络的精要，没搞明白反向传播，神经网络就还没入门。我的学习计划是：（1）推导一遍公式；（2）写一遍纯numpy代码；（3）看一遍源码。本系列所有文章都不是原创，只是收集网上前期那些认真的牛人的文章于一处，手撸一遍推导，以求入门。于大家也是方便，于自己是一遍学习。本文来源帐号登录...
公式推导(四)——Softmax的反向传播
weixin_44441131的博客
06-02 1188
参考文献
案例详解cross-entropy交叉熵损失函数及反向传播
BrightLamp的博客
11-13 8642
交叉熵函数的定义: $$ $$
『DL笔记』深入理解softmax交叉熵损失函数反向传播求导过程分析
AI新视界
12-12 7821
目录 一、softmax 函数 二、损失函数 loss function 三、最后的准备工作 ​ 四、具体的推导过程 s...
深度学习笔记之循环神经网络(四)铺垫：Softmax函数的反向传播过程
静静的学习就好
05-22 1496
上一节介绍了递归神经网络前馈计算过程的基本逻辑，以及作为语言模型时，衡量一个语言模型的优劣性指标——困惑度。本节介绍Softmax函数的反向传播(Backward Propagation,BP)过程。
Softmax交叉熵损失函数 反向传播公式推导
Charel_CHEN的博客
07-28 4533
Softmax交叉熵损失函数 反向传播公式推导 标签（空格分隔）： Caffe源代码 Softmax交叉熵损失函数： J=−∑i=1Kyiln(zi)zi=exi∑j=1KexjJ=−∑i=1Kyiln⁡(zi)zi=exi∑j=1Kexj\begin{array}{l} J = - \sum\limits_{i = 1}^K {{y_i}\ln ({z_i})} \\ {z_i} =...
softmax交叉熵损失函数
03-18
Softmax函数和交叉熵损失通常一起用于多分类问题。Softmax的作用是将模型的原始输出转化为概率分布，而交叉熵则衡量预测概率和真实标签之间的差异。 接下来，我应该分步骤解释。首先介绍Softmax函数的数学公式，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值