交叉熵损失函中对softmax函数输入单元求导过程

最新推荐文章于 2025-06-08 10:10:25 发布
原创 最新推荐文章于 2025-06-08 10:10:25 发布 · 797 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #损失函数求导 #softmax

本文深入解析了深度学习中多类别分类任务的交叉熵损失函数与Softmax函数结合时的导数计算技巧。通过推导，展示了在求Softmax输入单元梯度时，交叉熵损失函数中的log如何与Softmax中的exp相互抵消，简化计算过程，提高反向传播效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在回顾关于深度学习的基础知识。在求神经网络梯度的时候损失函数对于网络最后一层输入单元的求导是比较有技巧的。比如在多类别分类任务中经常用交叉熵损失函数训练softmax来输出目标值y。这一组合在对softmax输入单元的求梯度会非常简单，而且损失函数中的log可以抵消softmax中的exp。下面我就来推导交叉熵损失函中对softmax函数输入单元求导过程。

 

下图便是手动推导过程，我们的目标是对softmax函数中输入单元求导。

最后可以看到对输入单元zi求导变得非常简单。在求梯度的时候可以直接给出，使得梯度反向传播的计算量变得很小。

 

参考：https://blog.youkuaiyun.com/qian99/article/details/78046329

卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
简单易懂的softmax交叉熵损失函数求导
热门推荐
绝望的乐园
09-20 7万+
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可...
超详细！！！ 交叉熵损失函数的反向梯度推导（基于计算图）
别捏我的婴儿肥
09-07 4376
  如果对DeepLearning的底层实现感兴趣，可以到我的这篇博客看看，相信会有很大帮助，谢谢！
交叉熵（Cross Entropy）
最新发布
XiaoQiong.Zhang的博客
06-08 994
假设我们有一个分类模型（如逻辑回归或神经网络），参数为 θ。给定训练数据集 {(xj,yj)}j=1N{(xj​,yj​)}j=1N​，其中 xjxj​ 是输入特征， yjyj​ 是真实标签（对于多分类问题， yjyj​ 是one-hot向量）。模型输出预测概率分布 q(i∣xj;θ)q(i∣xj​;θ)（即对输入 xjxj​，模型预测类别 ii 的概率）。在独立同分布（i.i.d.）假设下，整个数据集的似然函数是各个数据点似然的乘积：θ)这里， p(yj∣xj;
交叉熵损失函数
m0_53444618的博客
11-23 511
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
pytorch损失函数解析
lyy的博客
12-04 3058
目录nn.L1Loss:nn.NLLLoss:nn.CrossEntropyLossnn.MSELossnn.BCELoss: nn.L1Loss: 这个比较简单，没有太多好说的，就是两者做差取绝对值，然后求和取平均。 输入x和目标y之间差的绝对值，要求 x 和 y 的维度要一样（可以是向量或者矩阵），得到的 loss 维度也是对应一样的。 loss(x,y)=1/n∑\sum∑ |x_i-y_i| nn.NLLLoss: nn.NLLLoss是负的似然对数损失，但Pytorch的实现就是把对应tar
Softmax交叉熵损失函数 反向传播公式推导
Charel_CHEN的博客
07-28 4533
Softmax交叉熵损失函数 反向传播公式推导 标签（空格分隔）： Caffe源代码 Softmax交叉熵损失函数： J=−∑i=1Kyiln(zi)zi=exi∑j=1KexjJ=−∑i=1Kyiln⁡(zi)zi=exi∑j=1Kexj\begin{array}{l} J = - \sum\limits_{i = 1}^K {{y_i}\ln ({z_i})} \\ {z_i} =...
【笔记】交叉熵softmax求导简单解释
qq_43854567的博客
02-12 1979
在分类任务总利用交叉熵作为损失函数后对输出层的输入O求导后为预测值为y^-y，why? 由下图可知交叉熵和softmax的公式如下图所示，如何求出的下入右框中的求导式子。 【为什么上图中的交叉熵的式子与我们平常所见的不同】 由上图，一般交叉熵的标准形式为上图中橙色方框中的公式，在二元逻辑回归中，我们见到的损失函数为绿色框中的形式，而在多元分类任务中写成了蓝色框中的情况，与负对数似然类似。其实我们可以将绿色和蓝色框中的公式当成对橙色框中公式的两种解读。 【黄框】标准的交叉熵公式 【绿框】二分类情况下.
softmax-交叉熵损失函数的求导计算推导
pq4362050的博客
02-22 1184
目前大部分多分类任务对最后一层的输出做softmax，然后使用交叉熵作为损失函数，再对loss求导反向传播来更新w，经过多轮训练得到训练好的w，这就是模型。 我相信许多刚入门的machine learninger只是知道该这么用，但是不明白为什么这样就可以更新w了，下面推导最后一层的导数 最后一层的第i个输出是 其对应的softmax处理是 输入公式太麻烦了 还是手写的吧 ...
Softmax函数交叉熵及其求导
Hansry的博客
04-14 1658
1. 简介 SoftmaxSoftmaxSoftmax 函数 SoftmaxSoftmaxSoftmax 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个R4R4R^{4} 维度的向量，来进行分类，例如输出层为向量 O=[0.2,0.1,0.4,0.3]O=[0.2,0.1,0.4,0.3]O=[ 0.2,0.1,0.4,0.3 ], 可根据向量中...
softmax loss对输入的求导推导.pdf
07-30
在介绍softmax loss对输入的求导推导之前，首先需要了解在...这一过程涉及到了对softmax函数求导的链式法则应用，以及对交叉熵损失函数的理解。在实际应用中，这些计算结果对于优化模型参数，提高分类准确率至关重要。
NLP 中损失函数对输入的求导的思考
u012136352的博客
09-27 606
在 http://cs224d.stanford.edu/assignment1/assignment1.pdf 中对下面一题的探索 答案在 https://blog.youkuaiyun.com/longxinchen_ml/article/details/51765418 答案是 答案的解释是在 https://blog.youkuaiyun.com/u014380165/article/det...
softmax回归损失函数求偏导部分的通俗推导
tongjingqi_的博客
01-26 997
torch的交叉熵损失函数(cross_entropy)计算(含python代码)
向上生长的程序媛的博客
12-01 1万+
1.调用 首先，torch的交叉熵损失函数调用方式为： torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean') 一般会写成： import torch.nn.functional as F F.cross_entropy(input, target) 2.参数说明 输入（张量）–(N,
pytorch入门15：损失函数的使用
qq_42360017的博客
03-28 273
import torch from torch.nn import L1Loss from torch import nn input = torch.tensor([1,2,3],dtype=torch.float32) target = torch.tensor([1,2,5],dtype=torch.float32) # 使用reshape进行维度的变换 input = torch.reshape(input,(1,1,1,3)) # 代表的是1个样本，通道为1，宽*高=1*3 target
交叉熵损失函数（Cross Entropy Loss）
weixin_45977690的博客
02-10 5624
交叉熵损失函数的理论和pytorch代码解析
多分类（Softmax）交叉熵损失函数反向传播推导
Wilhelm_M的博客
06-28 677
上面这一点也提醒我们，多分类交叉熵损失函数只适用于单标签的多分类任务，不适用于该函数训练多标签分类任务（本人惨痛教训），切记。在上一篇随笔中，我提到了多分类（Softmax）交叉熵损失函数反向传播为。注意到，上式右边偏导数的算法取决于。所求的反向传播，实际上是损失函数。因为对于多分类任务，真实值。是否相等，因此我们将上式分开。，但并未证明，现将证明过程附上。是one-hot向量，所以。
softmax损失函数求导
02-18
计算softmax函数关于输入s的雅克比矩阵 参数: s -- 输入数组 返回: jacobi_matrix -- 雅克比矩阵 """ # 获取softmax输出 sm = np.exp(s)/np.sum(np.exp(s)) # 初始化雅克比矩阵 n_features = len(sm...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值