多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导

最新推荐文章于 2025-04-18 19:33:02 发布
最新推荐文章于 2025-04-18 19:33:02 发布
阅读量4.4k 收藏 13
点赞数 7
分类专栏： 深度学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/oBrightLamp/article/details/84069835
版权
本文详细介绍了在多标签分类中，softmax与cross-entropy结合时的反向传播过程中梯度的求导过程。通过公式推导，展示了从输入向量x到误差值e的梯度计算，揭示了这种组合可以简化计算量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要

本文求解 softmax + cross-entropy 在反向传播中的梯度.

相关

配套代码, 请参考文章 :

Python和PyTorch对比实现多标签softmax + cross-entropy交叉熵损失及反向传播

有关 softmax 的详细介绍, 请参考 :

softmax函数详解及反向传播中的梯度求导

有关 cross-entropy 的详细介绍, 请参考 :

通过案例详解cross-entropy交叉熵损失函数

系列文章索引 :
https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981

正文

在大多数教程中, softmax 和 cross-entropy 总是一起出现, 求梯度的时候也是一起考虑.
softmax 和 cross-entropy 的梯度, 已经在上面的两篇文章中分别给出.

1. 题目

考虑一个输入向量 x, 经 softmax 函数归一化处理后得到向量 s 作为预测的概率分布, 已知向量 y 为真实的概率分布, 由 cross-entropy 函数计算得出误差值 error (标量 e ), 求 e 关于 x 的梯度.
x = ( x 1 , x 2 , x 3 , ⋯   , x k ) s = s o f t m a x ( x ) s i = e x i ∑ t = 1 k e x t e = c r o s s E n t r o p y ( s , y ) = − ∑ i = 1 k y i l o g ( s i ) \quad\\ x = (x_1, x_2, x_3, \cdots, x_k)\\ \quad\\ s = softmax(x)\\ \quad\\ s_{i} = \frac{e^{x_{i}}}{ \sum_{t = 1}^{k}e^{x_{t}}} \\ \quad\\ e = crossEntropy(s, y) = -\sum_{i = 1}^{k}y_{i}log(s_{i})\\ x=(x1​,x2​,x3​,⋯,xk​)s=softmax(x)si​=∑t=1k​ext​exi​​e=crossEntropy(s,y)=−i=1∑k​yi​log(si​)

已知 :
∇ e ( s ) = ∂ e ∂ s = ( ∂ e ∂ s 1 , ∂ e ∂ s 2 , ⋯   , ∂ e ∂ s k ) = ( − y 1 s 1 , − y 2 s 2 , ⋯   , − y k s k )    ∇ s ( x ) = ∂ s ∂ x = ( ∂ s 1 / ∂ x 1 ∂ s 1 / ∂ x 2 ⋯ ∂ s 1 / ∂ x k ∂ s 2 / ∂ x 1 ∂ s 2 / ∂ x 2 ⋯ ∂ s 2 / ∂ x k ⋮ ⋮ ⋱ ⋮ ∂ s k / ∂ x 1 ∂ s k / ∂ x 2 ⋯ ∂ s k / ∂ x k ) = ( − s 1 s 1 + s 1 − s 1 s 2 ⋯ − s 1 s k − s 2 s 1 − s 2 s 2 + s 2 ⋯ − s 2 s k ⋮ ⋮ ⋱ ⋮ − s k s 1 − s k s 2 ⋯ − s k s k + s k ) \nabla e_{(s)}=\frac{\partial e}{\partial s} =(\frac{\partial e}{\partial s_{1}},\frac{\partial e}{\partial s_{2}}, \cdots, \frac{\partial e}{\partial s_{k}}) =( -\frac{y_1}{s_1}, -\frac{y_2}{s_2},\cdots,-\frac{y_k}{s_k}) \\ \;\\ % ---------- \nabla s_{(x)}= \frac{\partial s}{\partial x}= \begin{pmatrix} \partial s_{1}/\partial x_{1}&\partial s_{1}/\partial x_{2}& \cdots&\partial s_{1}/\partial x_{k}\\ \partial s_{2}/\partial x_{1}&\partial s_{2}/\partial x_{2}& \cdots&\partial s_{2}/\partial x_{k}\\ \vdots & \vdots & \ddots & \vdots \\ \partial s_{k}/\partial x_{1}&\partial s_{k}/\partial x_{2}& \cdots&\partial s_{k}/\partial x_{k}\\ \end{pmatrix}= \begin{pmatrix} -s_{1}s_{1} + s_{1} & -s_{1}s_{2} & \cdots & -s_{1}s_{k} \\ -s_{2}s_{1} & -s_{2}s_{2} + s_{2} & \cdots & -s_{2}s_{k} \\ \vdots & \vdots & \ddots & \vdots \\ -s_{k}s_{1} & -s_{k}s_{2} & \cdots & -s_{k}s_{k} + s_{k} \end{pmatrix} \\ \quad\\ ∇e(s)​=∂s∂e​=(∂s1​∂e​,∂s2​∂e​,⋯,∂sk​∂e​)=

最低0.47元/天 解锁文章
【KD】多标签“Softmax+交叉熵”的软标签版本
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-07 476
目录 简介 巧妙联系 形式猜测 证明结果 实现技巧 文章小结 参考 简介 在《将“softmax+交叉熵”推广到多标签分类问题》中，我们提出了一个用于多标签分类的损失函数： 这个损失函数有着单标签分类中“Softmax+交叉熵”的优点，即便在正负类不平衡的依然能够有效工作。但从这个损失函数的形式我们可以看到，它只适用于“硬标签”，这就意味着label smoothing、mixup等技巧就没法用了。本文则尝试解决这个问题，提出上述损失函数的一个软标签版本。 巧妙联系 多标签
Python和PyTorch对比实现多标签softmax + cross-entropy交叉熵损失及反向传播
BrightLamp的博客
11-14 8045
相关 关于 softmax + cross-entropy 的详细介绍, 请参考 : BrightLamp. 多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/84069835. 正文 变量有仔细命名, 注释我就不写了 ^ _ ^ imp...
多分类问题引申到多标签分类问题（softmax+交叉熵）
Wisley的读书笔记分享
04-01 2073
最近在关注和参与了一些NLP的比赛，因为我做NLP的比赛的经验不多，所以过程中还是学习到不少知识，虽然目前名次不是特别好，但前排大佬们的分享还是能get到很多想法和知识的。 今天介绍的是苏神(苏剑林)的一篇文章，本文仅仅是笔者个人的解读和思考，如有错误，还望读者指正。   在很多类型的比赛，包括NLP的比赛中，往往会有多标签分类的问题，所谓多标签分类，就是一个样本会有多个类别属性的标签，例如：在心电的疾病诊断中，一个患者可能同时患有一种或多种类型的心脏疾病。不同于多分类任务，一般来说，我们可以把多标签任.
关于多标签交叉熵损失函数使用注意！！
最新发布
weixin_73199578的博客
04-18 341
记住！！！多标签交叉熵损失函数在下面几种情况下效果会比较差！！你的模型训练的效果不好可能就是因为下面的原因（之一）！！
机器学习--多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
AI小作坊 的博客
06-03 2643
https://blog.youkuaiyun.com/oBrightLamp/article/details/84069835 正文 在大多数教程中, softmax 和 cross-entropy 总是一起出现, 求梯度的时候也是一起考虑. softmax 和 cross-entropy 的梯度, 已经在上面的两篇文章中分别给出. 1 题目 考虑一个输入向量 x, 经 softmax 函数归一化处理后...
softmax+cross-entropy的前向计算、反向传播的公式推导
MacKendy的博客
05-29 2684
本文偏公式推导。 1. Softmax前向计算 把Softmax把Softmax把Softmax输出的概率定义为 pip_ipi​ Softmax(ai)=pi=eai∑jNeaj Softmax(a_i) = p_i = \frac {e^{a_i}} {\sum_j^N e^{a_j}} Softmax(ai​)=pi​=∑jN​eaj​eai​​ 模型输出[a1,a2,...,aN][a_1, a_2, ..., a_N][a1​,a2​,...,aN​]，共N个值。 其中aia_iai​代表第iii
机器学习复习：Softmax、Cross Entropy及其反向传播（求导）
DaVinciL的博客
06-05 3436
我的个人博客：https://huaxuan0720.github.io/，欢迎访问 前言   分类问题是深度学习中的最基本的问题，而分类问题中，我们使用最多的就是利用softmaxsoftmaxsoftmax函数并结合cross  entropycross \; entropycrossentropy计算最后的损失值LossLossLoss。所以我们有必要对其进行...
案例详解cross-entropy交叉熵损失函数及反向传播
BrightLamp的博客
11-13 8605
交叉熵函数的定义: $$ $$
交叉熵（Cross-Entropy）损失函数，对softmax的输出的梯度，为什么等于对应类别的概率减去标签值?
m0_51955470的博客
07-10 634
交叉熵损失函数在深度学习中经常用于多分类任务，特别是结合softmax函数输出的情况下。理解交叉熵损失函数对softmax输出的梯度为什么等于预测概率减去标签值，需要从数学推导和直觉上理解。Softmax 函数回顾Softmax函数将网络最后一层的输出（通常是一个向量）转换为每个类别的概率分布。给定一个输入向量zz1​z2​zk​))softmaxzi​∑j1k​ezj​ezi​​这里zi​。
机器学习----交叉熵(Cross Entropy)如何做损失函数
lmy050813的博客
03-22 6186
损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。信息熵的值越小，表示系统的不确定性越低。例如，在机器学习中，相对熵常用于比较真实数据的分布和模型预测的分布之间的差异，以评估模型的性能。它可以用于评估两个模型或概率分布的相似性，比较数据分布的差异，以及在熵最小化的框架下进行优化等。对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。上面说的都是一个样本的时候，多个样本的表达式是:多个样本的概率即联合概率，等于每个的乘积。
pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】
大漠帝国的博客
08-22 1521
pytorch-loss pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】 通过互信息思想来缓解类别不平衡问题 将“softmax+交叉熵”推广到多标签分类问题 1. Prior-BCE class PriorMultiLabelSoftMarginLoss(nn.Module): def __init__(self, prior=None, num_labels=None, reduction="mean
多分类（Softmax）交叉熵损失函数反向传播推导
Wilhelm_M的博客
06-28 648
上面这一点也提醒我们，多分类交叉熵损失函数只适用于单标签的多分类任务，不适用于该函数训练多标签分类任务（本人惨痛教训），切记。在上一篇随笔中，我提到了多分类（Softmax）交叉熵损失函数反向传播为。注意到，上式右边偏导数的算法取决于。所求的反向传播，实际上是损失函数。因为对于多分类任务，真实值。是否相等，因此我们将上式分开。，但并未证明，现将证明过程附上。是one-hot向量，所以。
机器学习4. 交叉熵损失函数与softmax回归的反向传播推导
xd_ljq的博客
04-15 839
在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下： 交叉熵损失函数 (1)C(a,y)=−∑iyilnaiC(a,y)=-\sum_i{y_i ln a_i} \tag{1}C(a,y)=−i∑​yi​lnai​(1) softmax逻辑回归 第iii个输出值aia_iai​为： (2)ai=ezi∑kezka_i...
【基础知识】多标签分类CrossEntropyLoss 与 二分类BCELoss
All_In_gzx_cc的博客
04-07 6889
什么是多标签分类 图片中是否包含房子？你的回答就是有或者没有，这就是一个典型的二分类问题（一个问题两个选项，是或不是）。 同样还是这幅照片，问题变成了：这幅照片是谁拍摄的？备选答案你，你的父亲，你的母亲，这就变成了一个多分类问题（一个问题多个选项）。 若此时问题如下： 你会发现图中所示的答案有多个yes，而不同于之前的多分类只有一个yes。这就是多标签分类。 多标签的问题的损失函数是什么 这里需要先了解一下softmax 与 sigmoid函数 这两个函数最重要的区别，我们观察一下： 区别还
『DL笔记』深入理解softmax交叉熵损失函数反向传播求导过程分析
AI新视界
12-12 7798
目录 一、softmax 函数 二、损失函数 loss function 三、最后的准备工作 ​ 四、具体的推导过程 s...
cross entropy的梯度
akon_wong_hkbu的博客
10-19 1456
之前已经发过cross entropy的推导http://blog.youkuaiyun.com/akon_wang_hkbu/article/details/77703250 现在写一下cross entropy的梯度
Softmax交叉熵损失函数 反向传播公式推导
Charel_CHEN的博客
07-28 4518
Softmax交叉熵损失函数 反向传播公式推导 标签（空格分隔）： Caffe源代码 Softmax交叉熵损失函数： J=−∑i=1Kyiln(zi)zi=exi∑j=1KexjJ=−∑i=1Kyiln⁡(zi)zi=exi∑j=1Kexj\begin{array}{l} J = - \sum\limits_{i = 1}^K {{y_i}\ln ({z_i})} \\ {z_i} =...
关于二分类，多分类，及多标签分类的损失函数详解及Pytorch实现
qq_24193303的博客
05-11 1万+
相信很多小伙伴最开始都是从分类任务入手深度学习这个领域的吧，这个就类似学习代码的第一课，“Hello world”一样。深度学习中，除了模型设计之外，最重要的想必就是选取合适的损失函数了。不过一般实验中，损失函数的调用十分简单，也就是一行代码的事情，但是最近发现，好多小伙伴，对于损失函数的基础意义及实现细节，还是不甚了解，所以在此对分类任务中常用的交叉熵损失函数进行详细的介绍。 1. 交叉熵（Cross Entropy） 交叉熵是信息论中的概念，想要理解交叉熵，首先需要了解一些与之相关的信息论基础。
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 13万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
Softmax+Cross Entropy如何反向求导？
04-09
<think>嗯，我现在得仔细理解用户的问题。用户想了解Softmax与Cross Entropy组合的反向传播求导方法，需要公式推导过程。首先，我得回忆一下这两个函数的定义以及它们在神经网络中的常见应用场景。 首先，Softmax函数通常用于多分类问题，将神经网络的输出转化为概率分布。Cross Entropy则是衡量真实标签和预测概率之间的差异，作为损失函数。它们的组合在反向传播中的梯度计算需要仔细推导，因为两者结合后的梯度会有简化的结果。 我记得之前学过，当Softmax和Cross Entropy一起使用时，反向传播的梯度会比较简洁，不需要计算中间复杂的导数。这可能是因为两者的结合导致某些项相互抵消了。但具体的推导步骤我得一步步理清楚。 首先，我应该明确前向传播的过程。假设输入是z，属于第k类的真实标签是y。Softmax函数将z转化为概率分布s，其中每个元素s_i = e^{z_i} / sum(e^{z_j})。Cross Entropy Loss则是L = -sum(y_i log s_i)，这里y是one-hot编码的，所以只有y_k=1，其余为0，所以L = -log s_k。 接下来是反向传播，需要计算损失L对输入z的导数dL/dz。根据链式法则，这等于dL/ds * ds/dz。不过，单独计算这两个梯度可能比较复杂，但结合之后可能会有简化。 不过，我之前看到过资料说，当使用Softmax和Cross Entropy组合时，最终的梯度可以简化为s_i - y_i，即预测概率减去真实标签。这似乎是一个关键点，但需要验证推导过程是否正确。 让我尝试一步步推导。首先，计算损失L对s_i的导数。因为L = -log s_k，所以dL/ds_k = -1/s_k，而其他dL/ds_j=0（因为只有s_k对损失有贡献）。然后，计算s_i对z_j的导数。Softmax的导数分为两种情况：i=j和i≠j。当i=j时，ds_i/dz_j = s_i(1 - s_i)；当i≠j时，ds_i/dz_j = -s_i s_j。因此，对于损失L对z_j的导数，应用链式法则，应该是sum(dL/ds_i * ds_i/dz_j)。但由于除了i=k的情况，其他dL/ds_i都是0，所以只有当i=k时才有贡献。因此，对于j=k的情况，dL/dz_k = (-1/s_k) * s_k(1 - s_k) = - (1 - s_k)；对于j≠k的情况，dL/dz_j = (-1/s_k) * (-s_k s_j) = s_j。但根据真实标签y_j，当j=k时y_j=1，否则0。因此，总的梯度应该是s_j - y_j。比如，当j=k时，梯度是s_k - 1；当j≠k时，梯度是s_j - 0，即s_j。所以最终dL/dz_j = s_j - y_j，这就是梯度表达式。 不过，这里可能存在错误，比如在链式法则的应用过程中是否遗漏了某些步骤，或者对导数的计算是否正确。例如，当计算ds_i/dz_j时，是否应该考虑所有i的情况，还是只考虑i=k的情况？ 或者，有没有更简洁的推导方法？例如，将Softmax和Cross Entropy结合起来，直接对L关于z求导，而不是分开求导。这样可能会更直接。 例如，L = -log( e^{z_k} / sum(e^{z_j}) ) = -z_k + log(sum(e^{z_j}))。然后，对z_j求导，得到dL/dz_j = -δ_{jk} + e^{z_j}/sum(e^{z_m})，其中δ是Kronecker delta函数。也就是dL/dz_j = s_j - y_j，其中y_j是one-hot标签。这似乎更直接，因为当j=k时，导数是s_j -1，否则是s_j。这正好对应了预测概率减真实标签的结果。 是的，这样的推导更简洁，可能更正确。这说明当结合Softmax和Cross Entropy时，最终的梯度确实是预测概率减去真实标签。这是因为在合并后的损失函数中，复杂的中间导数相互抵消，最终得到一个简单的表达式。 不过，我需要确认这个推导是否正确。例如，当损失函数是L = -sum(y_i log s_i)，而s_i = e^{z_i}/sum(e^{z_j})。那么，展开L得到： L = -sum(y_i (z_i - log(sum(e^{z_j})))) ) 因为log(s_i) = z_i - log(sum(e^{z_j})) 所以，L = -sum(y_i z_i) + log(sum(e^{z_j})) sum(y_i). 但由于sum(y_i) =1（因为one-hot），所以L = -sum(y_i z_i) + log(sum(e^{z_j})). 现在对某个z_j求导： dL/dz_j = -y_j + (e^{z_j}/sum(e^{z_m})) ) = s_j - y_j. 这样推导更直接，对吗？是的，这样就不需要分开计算dL/ds_i和ds_i/dz_j，而是直接对L关于z_j求导，结果就是s_j - y_j。这可能是因为在合并的情况下，中间项相互抵消，导致结果变得简洁。 所以，结论是，当使用Softmax和Cross Entropy组合时，反向传播的梯度为预测概率减去真实标签，即∂L/∂z_j = s_j - y_j。 这确实是一个重要的结果，因为它简化了计算，特别是在神经网络中，这样的梯度计算效率很高。 但用户可能需要更详细的推导步骤，所以我需要将这个过程详细地写出来，包括各个步骤的数学推导，并确保每一步的正确性。 可能还需要引用相关的参考资料，例如用户提供的引用[2]和引用[3]，其中提到交叉熵损失和Softmax的反向传播推导。比如引用[2]中讨论的交叉熵损失和Softmax的关系，以及推导过程。引用[3]中的博客可能也涉及了具体的导数推导。 总结来说，推导过程的关键在于将Softmax和Cross Entropy结合起来，直接对损失函数关于输入z求导，而不是分开处理。这样可以得到简洁的梯度表达式，这在神经网络的反向传播中非常有用。</think>### Softmax与Cross Entropy组合的反向传播求导推导 #### 1. 前向计算 设输入向量为 $z = [z_1, z_2, ..., z_K]$，Softmax 函数定义为： $$ s_i = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}} $$ 交叉熵损失函数为： $$ L = -\sum_{i=1}^K y_i \log s_i $$ 其中 $y$ 是真实标签的 one-hot 编码（仅 $y_k=1$，其余为 0）。 #### 2. 损失函数的简化表达 将 $s_i$ 代入损失函数： $$ L = -\log s_k = -\left( z_k - \log \sum_{j=1}^K e^{z_j} \right) $$ #### 3. 直接对 $z_j$ 求导 对 $z_j$ 求偏导： - **当 $j = k$（真实类别）**： $$ \frac{\partial L}{\partial z_j} = -1 + \frac{e^{z_j}}{\sum_{m=1}^K e^{z_m}} = s_j - 1 $$ - **当 $j \neq k$**： $$ \frac{\partial L}{\partial z_j} = 0 + \frac{e^{z_j}}{\sum_{m=1}^K e^{z_m}} = s_j $$ 综上，梯度可统一表示为： $$ \frac{\partial L}{\partial z_j} = s_j - y_j $$ #### 4. 代码验证 ```python import numpy as np def softmax(z): exp = np.exp(z - np.max(z)) # 防止数值溢出 return exp / exp.sum() def cross_entropy_loss(s, y): return -np.sum(y * np.log(s + 1e-10)) # 防止log(0) # 前向计算 z = np.array([2.0, 1.0, 0.1]) y = np.array([1, 0, 0]) # 真实标签为第一类 s = softmax(z) loss = cross_entropy_loss(s, y) # 反向传播梯度 grad_z = s - y # 梯度公式 print("梯度:", grad_z) # 示例输出：[0.659 -0.338 0.022] ``` #### 5. 结论 反向传播的梯度为预测概率与真实标签的差值，即 $\frac{\partial L}{\partial z_j} = s_j - y_j$。这一特性使得计算高效，且避免了单独计算中间导数时的冗余操作[^2][^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值