sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程

已于 2022-08-24 14:31:56 修改
阅读量3.1k 收藏 30
点赞数 2
分类专栏： 深度学习理论基础 文章标签： 分类 机器学习 python
于 2022-08-23 22:05:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jump882/article/details/126492348
版权

一、交叉熵损失函数

1、离散变量 i i i的概率分布为 P ( i ) P(i) P(i)，熵的公式： E n t r o p y = − ∑ i P ( i ) l o g P ( i ) Entropy=-\sum_iP(i)logP(i) Entropy=−i∑​P(i)logP(i)
2、连续变量 x x x的概率分布为 P ( x ) P(x) P(x)，熵的公式： E n t r o p y = − ∫ P ( x ) l o g P ( x ) d x Entropy=-\int P(x)logP(x)dx Entropy=−∫P(x)logP(x)dx
3、交叉熵：主要度量两个概率分布间的差异性信息： H ( P , Q ) = − ∑ i = 0 N P ( x ) l o g Q ( x ) H(P,Q)=-\sum_{i=0}^NP(x)logQ(x) H(P,Q)=−i=0∑N​P(x)logQ(x)

1）二分类

共 N N

最低0.47元/天 解锁文章
二分类问题的交叉熵函数和多分类问题的交叉熵函数
qq_40429303的博客
10-24 1万+
二分类问题的交叉熵损失函数;    在二分类问题中，损失函数为交叉熵损失函数。对于样本（x,y）来讲，x为样本 y为对应的标签。在二分类问题中，其取值的集合可能为{0，1}，我们假设某个样本的真实标签为yt，该样本的yt=1的概率为yp，则该样本的损失函数为：                        如果对于整个数据集上的模型而言：其损失函数就是所有样本的点的损失函数的平均值。 多分...
第五十章 解读交叉熵损失函数的求导(sigmoid和softmax)
专注于人工智能学习，总结
12-22 1199
与平方损失函数相比较，由于学习速率可以被输出误差所控制的缘故，交叉熵能在梯度下降时避免均方误差损失函数学习速率降低的问题，有着更为出色的效果。除此之外，由于交叉熵的计算涉及到各个类别的概率，所以说起交叉熵几乎与sigmoid/softmax函数形影不离，这些我们都会在下文中一一印证。交叉熵，顾名思义，取的是两者交叉的熵值；而在机器学习中的所谓两者，自然是真实分布（或实际输出概率）与预测分布（或期望输出概率），通过熵值计算的方法来刻画两者距离，可以评估两个概率分布（或特征工程里的两个特征变量）的相似度。
交叉熵损失
SisterRu的博客
07-31 688
交叉熵是一种常用于的方法，特别是在分类任务中用于评估模型的输出与真实标签之间的匹配程度。在机器学习中，特别是在使用神经网络进行多类分类时，交叉熵损失函数被广泛使用。
交叉熵损失函数（Cross-Entropy Loss）
qq_39437730的博客
12-11 1万+
交叉熵损失函数是深度学习中分类问题常用的损失函数，特别适用于多分类问题。它通过度量预测分布与真实分布之间的差异，来衡量模型输出的准确性。中，softmax 和交叉熵是结合在一起实现的，因此你不需要手动调用 softmax。用于度量预测分布与真实分布之间的差异，是分类问题中的核心工具。结合 softmax，用来计算预测分布与真实分布之间的差异。结合了 softmax 和交叉熵计算，使用简单且高效。模型通常输出logits（未归一化的分数），例如。4、示例：在神经网络中的应用。在 PyTorch 的。
多分类交叉熵
最新发布
weixin_51147313的博客
04-02 1113
要理解多分类交叉熵损失的由来，首先需要掌握信息论中的两个基础概念：熵（Entropy）和交叉熵（Cross-Entropy）。熵（Entropy） 熵衡量一个随机变量的不确定性。对于一个离散随机变量 XXX（例如类别分布），其熵定义为： H(X)=−∑i=1Cpilog⁡(pi) H(X) = -\sum_{i=1}^{C} p_i \log(p_i) H(X)=−i=1∑C​pi​log(pi​)交叉熵（Cross-Entropy） 交叉熵衡量两个概率分布 PPP（真实分布）和 QQQ（预测分布）之间的差
交叉熵损失函数详解
热门推荐
youhuakongzhi的博客
06-12 8万+
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。 Sigmoid 函数的表达式和图形如下所示： 其中 s 是模型上一层的输出...
交叉熵损失函数
Lian_Ge_Blog的博客
10-18 581
关于交叉熵损失函数的个人详解
交叉熵损失函数推导
张小猪的家
08-16 496
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。 Sigmoid 函数的表达式和图形如下所示： 其中 s 是模型上一层的输出，Sigmoid 函数有这样的特点：s = 0 时，g(s) = 0.5；s >> 0 时， g ≈ 1，s <&
损失函数——交叉熵损失函数
YCCNUST的博客
07-01 6144
交叉熵损失函数
深度学习中，逻辑回归(交叉熵)，softmax损失函数的推导，以及sigmoid, relu, tanh, softmax函数的用处
zq18239961260的博客
04-18 1185
sigmoid, relu, tanh, softmax函数的用处 其中作为激励函数的有: (1) g(z) = sigmoid(z) = (2) g(z) = relu(z) = max(0, x) (3) g(z) = tanh(z) = 以上激励函数作用为构造非线性模型，如:z = W^Tx + b是一个线性模型，当引入a = g(z)时，就构造出了非线性模型，用来拟合实际...
softmax交叉熵损失函数的深度理解
m0_61363749的博客
08-11 1942
最近拜读了一名优秀学者的博士毕业论文，深受启发。论文题目《基于深度学习的人脸认证方法研究》。损失函数是控制整个深度神经网络训练的中枢，该论文将深入探究了深度学习中的机理，并把之前广泛用于的和多种用于的改造得更加适合的训练。该论文对传统的 Softmax 交叉熵损失函数以及新提出的一系列改进进行了大量的理论分析，有别于传统理论更多的偏向概率解释，该论文中提出的理论分析大多是基于特征、权重之间的几何关系与统计量进行的，由于特征与权重相比于Softmax 概率更加底层，因此能够得到更多的数学结论。......
神经网络中的激活函数与损失函数&深入理解推导softmax交叉熵
weixin_49374896的博客
02-26 2469
介绍神经网络中常用的激活函数和损失函数，主要是介绍softmax交叉熵损失函数，并使用计算图手动推导softmax交叉熵反向传播过程。
交叉熵（cross-entropy）损失函数求导过程推导
河山入梦来的博客
07-01 1万+
交叉熵（cross-entropy）损失函数求导过程推导1. 什么是交叉熵？1.1 熵1.2 KL散度1.3 交叉熵2. 关于softmax函数3. 推导过程3.1 关于softmax的求导3.2 关于cross-entropy的求导功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...
交叉熵损失函数求导
weixin_43507046的博客
04-20 1003
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M...
softmax与sigmoid与交叉熵损失函数
baidu_41923143的博客
05-14 708
softmax与sigmoid 引用文章 如上图所示，不同之处： softmax的输出是一个比重，每个输出相加和为1。而sigmoid是将每一个输出做一个非线性映射而已。相同之处： softmax与sigmoid的输出值的大小范围都是[0,1]。 区别就在于softmax是一个针对输出结果归一化的过程，所以很多文献里也称作softmax层；而sigmoid只是一个非线性激活过程，所以一般称为激活函数。 二者公式上也并不是直接归一化的关系： softmax的计算公式为： sigmoid的计算公式为：
交叉熵损失导数推理
zhaoguanhua的博客
04-14 6662
在深度学习网络训练中，交叉熵损失是一种经常使用的损失函数，这篇文章里我们来推导一下交叉熵损失关于网络输出z的导数，由于二分类是多分类的特殊情况，我们直接介绍多分类的推导过程。 一、Softmax交叉熵损失求导 基于softmax的多分类交叉熵公式为 LSCE=−∑j=1Cyjlog⁡(pj)L_{S C E}=-\sum_{j=1}^{C} y_{j} \log \left(p_{j}\right)LSCE​=−j=1∑C​yj​log(pj​) 其中CCC表示类别总数，包含背景类别，pjp_jpj​通过S
与MSE损失函数相比,交叉熵损失函数有哪些优势？
03-23
<think>嗯，我现在需要比较交叉熵损失函数和MSE损失函数在深度学习和机器学习中的优势。首先，我应该回忆一下这两个损失函数的基本定义和应用场景。MSE是均方误差，通常用于回归问题，比如预测房价、温度等连续值。而交叉熵损失函数常用于分类问题，特别是分类任务，比如图像分类、文本分类等。 根据引用中的信息，引用[2]提到线性回归用MSE，分类问题用交叉熵。那为什么分类问题更适合交叉熵呢？可能和梯度更新有关。引用[3]讨论了梯度下降中的学习速度，指出交叉熵在模型效果差时学习速度更快，因为它的梯度与误差相关，而MSE可能梯度较小，导致收敛慢。比如当使用sigmoid激活函数时，MSE的梯度可能变得很小，出现梯度消失的问题，而交叉熵可以缓解这个问题。 另外，引用[4]提到，交叉熵通过信息论推导，可能更符合信息领域的本质规律。这可能意味着交叉熵在处理概率分布时更自然，尤其是在分类任务中，输出是概率分布的情况。而MSE在处理概率时可能不太适合，因为MSE会假设误差是高斯分布的，这在分类问题中可能不成立。 还有，引用[1]中的例子显示，MSE的范围是0到无穷大，当预测值离真实值很远时，MSE的值会非常大，可能影响训练稳定性。而交叉熵损失在分类中通常更平滑，有助于稳定训练。 总结起来，交叉熵的优势可能包括：梯度更合理，避免梯度消失；适合分类任务的概率解释；训练速度更快，尤其是在错误较大时；以及更好的数值稳定性。而MSE可能在输出层使用线性激活时更合适，比如回归问题，但面对分类问题时可能不够高效。</think>### 交叉熵损失函数 vs MSE损失函数 的优势分析 #### 1. **梯度更新效率** - **交叉熵损失函数**：在分类问题中，梯度计算与模型预测误差直接相关。当模型预测错误较大时（例如真实标签为1，预测值为0.2），交叉熵的梯度较大，参数更新速度快，加速模型收敛[^3][^4]。 $$ \text{交叉熵梯度} = \text{预测值} - \text{真实值} $$ - **MSE损失函数**：梯度与误差和激活函数的导数相关。例如在使用sigmoid函数时，当预测值接近0或1时，梯度趋近于0，导致参数更新缓慢（梯度消失问题），尤其在模型效果较差时收敛速度更慢[^4]。 $$ \text{MSE梯度} = (\text{预测值} - \text{真实值}) \cdot \text{sigmoid导数} $$ #### 2. **任务适配性** - **交叉熵**：天然适配分类任务，直接衡量预测概率分布与真实分布的差异，符合概率建模的需求。例如在图像分类中，输出层使用softmax+交叉熵，能直接优化类别概率[^2]。 - **MSE**：假设误差服从高斯分布，适合回归问题（如预测温度、房价），但在分类任务中可能导致优化目标与评估指标不匹配[^2]。 #### 3. **数值稳定性** - **交叉熵**：在分类任务中，损失值随误差增长呈对数关系，数值范围相对可控。例如二分类交叉熵范围为$[0, +\infty)$，但实际训练中更容易收敛。 - **MSE**：当预测值严重偏离真实值时（如引用[1]中预测值-10000 vs 真实值100），损失值会非常大，可能导致梯度爆炸或训练不稳定[^1]。 #### 4. **理论一致性** - 交叉熵可通过信息论（信息熵、KL散度）推导，反映信息传递的本质规律；而MSE更偏向统计学的误差最小化视角。两者在分类问题中虽然数学形式不同，但交叉熵更符合概率模型的底层逻辑。 --- ### 总结表格 | 特性 | 交叉熵损失函数 | MSE损失函数 | |---------------------|----------------------------------|--------------------------------| | **适用任务** | 分类（如分类、序列标注） | 回归（如预测连续值） | | **梯度更新速度** | 错误大时梯度大，收敛快 | 错误大时梯度可能趋近于0，收敛慢 | | **数值稳定性** | 损失值范围相对可控 | 误差较大时损失值易爆炸 | | **激活函数适配** | 需配合softmax/sigmoid使用 | 通常配合线性输出层使用 | | **理论依据** | 信息论（概率分布差异） | 统计学（最小化误差平方） | ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值