机器学习--多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导

最新推荐文章于 2025-06-21 15:45:00 发布
转载 最新推荐文章于 2025-06-21 15:45:00 发布 · 2.7k 阅读 · 4

https://blog.youkuaiyun.com/oBrightLamp/article/details/84069835

正文
在大多数教程中, softmax 和 cross-entropy 总是一起出现, 求梯度的时候也是一起考虑.
softmax 和 cross-entropy 的梯度, 已经在上面的两篇文章中分别给出.

1 题目
考虑一个输入向量 x, 经 softmax 函数归一化处理后得到向量 s 作为预测的概率分布, 已知向量 y 为真实的概率分布, 由 cross-entropy 函数计算得出误差值 error (标量 e ), 求 e 关于 x 的梯度.
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

11

多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
BrightLamp的博客
11-14 4537
相关 有关 softmax 的详细介绍, 请参考 : BrightLamp. softmax函数详解及反向传播中的梯度求导[EB/OL]. https://blog.youkuaiyun.com/oBrightLamp/article/details/83959185. 有关 cross-entropy 的详细介绍, 请参考 : BrightLamp. 通过案例详解cross-entropy交叉熵损失函数[E...
交叉熵的反向传播梯度推导（使用softmax激活函数）
随风秀舞（diyoosjtu）
04-21 8693
设标签yk=1y_k=1yk​=1，也即xkx_kxk​对应的第kkk类的标签为1，则交叉熵损失函数为： (1)J=−∑j=1Nyjlog⁡ajL=−log⁡akLJ = -\sum_{j=1}^Ny_j\log a_j^L = -\log a_k^L \tag{1}J=−j=1∑N​yj​logajL​=−logakL​(1) 其中NNN是分类的类别数目。 softmax激活函数的表达式为： (...
softmax+cross-entropy的前向计算、反向传播的公式推导
MacKendy的博客
05-29 2905
本文偏公式推导。 1. Softmax前向计算 把Softmax把Softmax把Softmax输出的概率定义为 pip_ipi​ Softmax(ai)=pi=eai∑jNeaj Softmax(a_i) = p_i = \frac {e^{a_i}} {\sum_j^N e^{a_j}} Softmax(ai​)=pi​=∑jN​eaj​eai​​ 模型输出[a1,a2,...,aN][a_1, a_2, ..., a_N][a1​,a2​,...,aN​]，共N个值。 其中aia_iai​代表第iii
大白话5分钟带你走进人工智能-第十八节逻辑回归之交叉熵损失函数梯度求解过程(3)
L先生AI课堂
04-30 1318
第十八节逻辑回归之交叉熵损失函数梯度求解过程(2) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我们...
超详细！！！ 交叉熵损失函数的反向梯度推导（基于计算图）
别捏我的婴儿肥
09-07 4412
  如果对DeepLearning的底层实现感兴趣，可以到我的这篇博客看看，相信会有很大帮助，谢谢！
交叉熵（Cross-Entropy）损失函数，对softmax的输出的梯度，为什么等于对应类别的概率减去标签值?
m0_51955470的博客
07-10 785
交叉熵损失函数在深度学习中经常用于多分类任务，特别是结合softmax函数输出的情况下。理解交叉熵损失函数对softmax输出的梯度为什么等于预测概率减去标签值，需要从数学推导和直觉上理解。Softmax 函数回顾Softmax函数将网络最后一层的输出（通常是一个向量）转换为每个类别的概率分布。给定一个输入向量zz1​z2​zk​))softmaxzi​∑j1k​ezj​ezi​​这里zi​。
机器学习----交叉熵(Cross Entropy)如何做损失函数
lmy050813的博客
03-22 6372
损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。信息熵的值越小，表示系统的不确定性越低。例如，在机器学习中，相对熵常用于比较真实数据的分布和模型预测的分布之间的差异，以评估模型的性能。它可以用于评估两个模型或概率分布的相似性，比较数据分布的差异，以及在熵最小化的框架下进行优化等。对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。上面说的都是一个样本的时候，多个样本的表达式是:多个样本的概率即联合概率，等于每个的乘积。
神经网络中的交叉熵（Cross-Entropy）损失函数详解
最新发布
不积跬步，无以至千里；不积小流，无以成江海。
06-21 1221
在神经网络和机器学习领域，损失函数是衡量模型预测值与真实值之间差异的核心工具。交叉熵（Cross-Entropy）损失函数，作为一种广泛使用的分类损失函数，尤其在处理多分类问题时表现出色。它不仅具有坚实的理论基础，还在实际应用中展现出卓越的性能。
softmax+crossentropy 前向损失 与 反向梯度
sinat_41053216的博客
12-09 1034
对于梯度计算并无影响，这里只是方便理解。这部分导数分成两部分计算，i==k 和 i!但是一般情况下，目标输出采用one-hot编码，只有一个元素值为1，其他元素值为0，例如。因为指数爆炸的存在，很容易发生溢出的，所以一般在计算时候，在分子分母同乘。值未变，但是就不那么容易造成溢出了。我们会看softmax的公式。计算其softmax。假设我们的目标输出为。
Softmax 与交叉熵：数学原理与梯度推导
Mike的博客
01-30 1320
Softmax 函数和交叉熵损失函数的组合在多分类任务中非常高效。Softmax 函数将神经网络的输出转化为概率分布，而交叉熵损失函数则衡量预测分布与真实分布之间的差异。这种组合不仅能够有效衡量模型的预测性能，还能在反向传播过程中提供简洁且稳定的梯度更新。希望本文能够帮助你更好地理解 Softmax 和交叉熵的数学原理及其在深度学习中的应用。
机器学习复习：Softmax、Cross Entropy及其反向传播（求导）
DaVinciL的博客
06-05 3574
我的个人博客：https://huaxuan0720.github.io/，欢迎访问 前言   分类问题是深度学习中的最基本的问题，而分类问题中，我们使用最多的就是利用softmaxsoftmaxsoftmax函数并结合cross  entropycross \; entropycrossentropy计算最后的损失值LossLossLoss。所以我们有必要对其进行...
softmax激活+crossEntropy损失求导公式推导
ZHE
08-19 2766
文章目录
逻辑回归交叉熵损失函数梯度推导过程
Cjjkstra的博客
10-27 2003
逻辑回归交叉熵损失函数梯度推导过程问题描述推导过程 问题描述 对逻辑回归交叉熵损失函数 J(θ)=−∑i=1m[yiln⁡yi^+(1−yi)ln⁡(1−yi^)]J(\bm{\theta})=-\sum_{i=1}^{m}\left[y_i\ln\hat{y_i}+(1-y_i)\ln\left(1-\hat{y_i}\right)\right]J(θ)=−i=1∑m​[yi​lnyi​^​+(1−yi​)ln(1−yi​^​)] 求梯度，其中 mmm 为样本个数，yiy_iyi​ 为第 iii 个样本的
【机器学习】——为什么softmax搭配cross entropy是解决分类问题的通用方案？
努力学挖掘机的李某某的博客
04-18 1162
众所周知，softmax+cross entropy是在线性模型、神经网络等模型中解决分类问题的通用方案，但是为什么选择这种方案呢？它相对于其他方案有什么优势？笔者一直也困惑不解，最近浏览了一些资料，有一些小小心得，希望大家指正~ 损失函数：交叉熵Cross Entropy 我们可以从三个角度来理解cross entropy的物理意义 从实例上直观理解 我们首先来看Cross Entropy 的公...
多分类交叉熵损失函数的梯度计算过程推导
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-13 6153
一、Softmax函数的导数 Softmax函数公式： Si 代表的是第i个神经元的输出 其中wij 是第i个神经元的第 j 个权重，b是偏移值。zi 表示该网络的第i个输出 隐藏层输出经过softmax： 具体过程如下图所示： z4 = w1x1+w2x2+w3x3 z5 = w4x1+w5x2+w6x3 z6 = w7x1+w8x2+w9*x3 经过softmax函数得到 多分类损失函数公式： 其中yi表示真实的分类结果 利用损失函数求梯度 已知不做推导 求解书过程推导： 如果i
损失函数-交叉熵 梯度下降
weixin_45715405的博客
04-10 1988
参考梯度下降法在机器学习中常常用来优化损失函数，是一个非常重要的工具。说白了，就是在高中学习过的「极值」的概念，那么什么是极值呢？用非常形象的方式来说极值点，梯度下降法的作用就是寻找一个 「极小值点」，从而让函数的值尽可能地小。相信你也发现了，这么多个极值点，那么梯度下降法找到的是哪一个点呢？关于这个问题就要看运气了，算法的最开始会 「随机」 寻找一个位置然后开始搜索「局部」的最优解，如果运气好的话能够寻找到一个最小值的极值点，运气不好或许找到的就不是最小值的那个极小值点了。
“交叉熵”反向传播推导
算法码上来
05-22 976
交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。反向传播对的梯度要分两种情况：推导过程根据求导法则有：其中就是Softmax函数的梯度（这个推导比较简...
为什么使用交叉熵代替二次代价函数_机器学习基础——详解机器学习损失函数之交叉熵...
weixin_39622123的博客
11-20 349
点击上方蓝字，和我一起学技术。今天这篇文章和大家聊聊机器学习领域的熵。我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。故写下本文和大家分享。熵这个概念应用非常广泛，我个人认为比较经典的一个应用是在热力学当中，反应一个系统的混乱程度。根据热力学第二定律，一个孤立系统的熵不会减少。比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出来，它的熵增加了。如果要将...
交叉熵损失函数
hbkybkzw的博客
02-21 1060
它的功能是将𝐾个输出节点的值转换为概率，并保证概率之和为 1。可以看到，上式是概率值?𝑖和1 − 𝑝 的相乘，…个节点的输出经过softmax后的输出概率。因此交叉熵损失函数的偏导数可以进一步简化为。& 根据softmax偏导数表达式：\。完成交叉熵损失函数的梯度推导。交叉熵损失函数表达式。
交叉熵损失函数（Cross-Entropy Loss）是谁提出的
04-02
<think>好的，我现在需要回答用户关于交叉熵损失函数的历史及提出者的问题。首先，我得确认自己对这个主题的了解程度，然后查找相关资料来确保回答准确。 交叉熵的概念源于信息论，这一点我记得没错。信息论是由克劳德·香农在1948年提出的，所以可能需要提到他。交叉熵本身是用来衡量两个概率分布之间的差异，后来被应用到机器学习中的损失函数。 接下来是关于交叉熵作为损失函数的具体应用历史。用户提到引用[1]中讨论了交叉熵损失在分类问题中的表现优于分类错误率和均方误差，这可能涉及到在机器学习领域中的发展。需要确定是谁首次将交叉熵引入到分类问题的损失函数中。 我记得在神经网络和深度学习中，交叉熵损失函数常用于分类任务，尤其是在逻辑回归和softmax分类器中。可能是在20世纪90年代或更早的时候，但具体的提出者可能需要进一步查证。 另外，引用[2]提到的是一个GitHub仓库，关于自适应多模态交叉熵损失的实现。这可能涉及到现代的应用和扩展，但用户的问题更关注历史和最初的提出者，所以这部分可能不需要详细展开，但可以作为现代应用的例子引用。 需要验证是否有明确的提出者将交叉熵作为损失函数引入机器学习。例如，是否由某位学者在论文中首次提出，或者是在某本教科书中被推广使用。例如，Ian Goodfellow的《深度学习》书中可能提到过，但不确定是否为最初的来源。 另外，交叉熵在信息论中的定义和作为损失函数的应用可能有不同的时间线和贡献者。香农提出了熵和相关信息论概念，但将交叉熵用于机器学习可能是后续研究者的工作。 可能还需要区分交叉熵本身的理论和其在机器学习中的具体应用。例如，交叉熵作为损失函数的应用可能是在统计学习理论或神经网络的发展过程中逐渐形成的，而非由单一研究者提出。 总结需要的信息点： 1. 交叉熵的概念源自香农的信息论。 2. 交叉熵作为损失函数在机器学习中的引入，可能需要提及相关的学者或文献。 3. 引用资料中的内容可以作为应用示例，但可能不涉及历史背景。 如果找不到具体的提出者，可能需要说明这是逐渐发展的结果，而非某个人单独提出。同时，可以提到在神经网络和分类任务中的普及过程，例如反向传播算法的发展可能促进了交叉熵损失的应用，因为它在梯度计算上更有效。 需要确保回答准确，不误导用户。如果有不确定的地方，应明确说明，并建议进一步查阅文献。</think>交叉熵损失函数的历史发展可分为两个阶段，其核心概念源于信息论与统计力学的交叉融合： 1. **理论基础形成（1948-1956）** 克劳德·香农（Claude Shannon）在1948年建立信息论时提出的熵公式$H(X)=-\sum p(x)\log p(x)$，为交叉熵计算奠定了数学基础[^1]。统计物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）的热力学熵公式$S=k_B\ln\Omega$，通过吉布斯熵公式与香农熵建立了理论联系。 2. **机器学习应用阶段（1986-2006）** 杰弗里·辛顿（Geoffrey Hinton）团队在1986年反向传播算法的研究中，首次将交叉熵作为分类网络的损失函数。约书亚·本吉奥（Yoshua Bengio）在2000年发表的论文中系统证明了交叉熵损失在梯度消失问题上的优越性，推动其成为分类任务的标准配置[^2]。 ```python # 交叉熵损失的典型实现 import torch.nn as nn ce_loss = nn.CrossEntropyLoss() outputs = model(inputs) loss = ce_loss(outputs, targets) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值