最大似然估计，交叉熵，相对熵(KL散度)

最新推荐文章于 2025-03-24 16:56:17 发布
最新推荐文章于 2025-03-24 16:56:17 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： 信息论 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhlei12345/article/details/78969303
版权
本文探讨了在机器学习中，如何利用交叉熵损失函数进行模型训练。通过最小化交叉熵，实际上是在最大化对数似然，以估计分类问题中未知的真实分布。以逻辑回归为例，解释了如何通过模型估计P'来逼近真实分布P，并介绍了相对熵（KL散度）作为衡量两个分布差异的指标。最终，我们看到最小化相对熵等价于最小化交叉熵损失，从而优化模型参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在机器学习中，选择损失函数时，通常会遇到交叉熵的概念，也就是交叉熵损失函数，那么我们知道最小化交叉熵损失函数等价于最大化对数似然，那么最小化交叉熵损失函数其含义是怎么样本的？我们知道针对分类问题，我们并不知道Y的真实分布，因此需要通过模型来估计Y的真实分布，以逻辑回归为例，假设Y的真实分布为：P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常 q=11+exp(−xβ) , 我们需要做的就是估计参数 β ,使得P和P’之间的差异尽可能小，描述两个分布差异大小的量我们可以使用相对熵 即

最低0.47元/天 解锁文章
关于最大似然与交叉熵损失函数和最小二乘法的思考
luchi007的专栏
10-07 9621
最大似然估计与logistic交叉熵损失函数以及线性回归过程中的最小二乘法的关系理解
交叉熵、KL散度、极大似然和对数似然
fengye2two的专栏
04-19 2818
前言：       本文整理自https://www.cnblogs.com/silent-stranger/p/7987708.html，感谢MaHaLo的渊博知识。 1.介绍：       当我们开发一个分类模型的时候，我们的目标是把输入映射到预测的概率上，当我们训练模型的时候就不停地调整参数使...
交叉熵与相对熵
09-26 175
　　　　熵的本质是香农信息量()的期望。 　　　　现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 　　　　按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 　　　　如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i...
KL（Kullback-Leibler）散度和交叉熵
最新发布
u012374012的专栏
03-24 756
信息增益是在决策树算法中用于选择最佳特征的一种评价指标。在决策树的生成过程中，选择最佳特征来进行节点的分裂是关键步骤之一，信息增益可以帮助确定最佳特征。信息增益衡量了在特征已知的情况下，将样本集合划分成不同类别的纯度提升程度。它基于信息论的概念，使用熵来度量样本集合的不确定性。具体而言，信息增益是原始集合的熵与特定特征下的条件熵之间的差异。在决策树的生成过程中，选择具有最大信息增益的特征作为当前节点的分裂标准，可以将样本划分为更加纯净的子节点。
最大似然估计、KL散度和交叉熵
幻世
09-18 2259
深度学习建立在概率论的基础上，本质是估计数据集(具有随机误差)的分布。 极大似然估计 极大似然估计是点估计的一种，我们定义一个似然函数来作为对真实分布的估计，取似然程度最大的一组参数作为估计值。根据大数定理，当数据量足够大时，其差为0。 给定分布P(x;θ)P(x; \boldsymbol{\theta})P(x;θ)，从中取一组样本X1,X2,X3,...,XnX_1, X_2, X_3, .....
最大似然估计_交叉熵和最大似然估计
weixin_39648469的博客
12-08 398
我们正在努力训练神经网络模型进行分类。我们设计网络深度，激活函数，设置所有超参数，然后选择损失函数。正如我们所说的，我们使用交叉熵损失函数，因为它适合于分类。熵是随机变量不确定性的变量。如果我们有一个随机变量X，我们有概率质量函数p(X)= PR [ X = x ]，我们定义随机变量X的熵为H(X) 现在，我们怎样才能知道这个值H(X)对应X的不确定性？如果有一个x的概率为1。如果我们把它放在等式...
交叉熵 相对熵
专注计算机体系结构
03-24 424
（1）熵的本质是香农信息量()的期望。 （2）现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 （3）如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i)。H(p,q)我们称
详解熵， 交叉熵，KL散度，互信息
jiede1的博客
06-06 1687
首先介绍几个信息论中的概念。 熵， 表示某个概率分布的不确定度： H(x)=−∑p(x)logp(x) H(x) = - \sum p(x) log p(x) H(x)=−∑p(x)logp(x) 联合熵，两个变量联合分布的不确定度： H(x,y)=∑∑p(x,y)logp(x,y) H(x,y) = \sum \sum p(x,y) log p(x,y) H(x,y)=∑∑p(x,y)logp(x,y) 条件熵，在X确定后，Y的不确定度： H(Y∣X)=∑p(xi)H(Y∣X=xi)=∑∑p(x,y)
交叉熵和相对熵(KL散度), 极大似然估计求loss, softmax多分类
赤道6号转向发动机的博客
02-20 886
看了一篇好文章, 讲解交叉熵和相对熵, 之前就想弄懂, 今天仔细研究了一下. 文章链接: 交叉熵（Cross-Entropy） 信息量 定义事件X=x0X=x_0X=x0​发生时的信息量为： 定义事件X=x0X=x_0X=x0​发生时的信息量为： I(x0)=−log(p(x0))I(x_0)=−log(p(x_0))I(x0​)=−log(p(x0​)) 一个事件发生的概率越大，则它发生时所...
先验概率、后验概率、条件概率以及熵、交叉熵、KL散度（相对熵）扫盲
仲夏
09-04 3780
先验概率，后验概率，似然概率，条件概率，贝叶斯，最大似然 相对熵（KL散度） 熵，交叉熵，相对熵（KL散度） 熵、交叉熵和相对熵的区别与联系 先验概率       事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观
交叉熵和相对熵
weixin_68515432的博客
08-16 759
交叉熵通常用于衡量预测分布与真实分布之间的差异，而相对熵则衡量了从一个分布到另一个分布的信息损失。交叉熵（Cross-Entropy）和相对熵（Kullback-Leibler Divergence，也称为KL散度）是信息论和机器学习中常用的两个概念，用于衡量概率分布之间的差异。其中，p(x) 是真实分布（例如，标签的实际分布），q(x)$是预测分布（例如，模型的预测分布）。在机器学习中，交叉熵通常用于度量两个概率分布之间的差异，特别是在分类任务中衡量预测分布与真实分布之间的差异。
熵 交叉熵 相对熵
weixin_30396699的博客
12-03 118
1.熵（Shann Entropy） 熵又叫信息熵，香农熵，反映了一个系统的有序（无序）的程度。整个世界都是倾向于从有序到无序，从稳态到混乱，熵值从低到高。设随机变量$X$的取值为$X={x_0,x_1,x_2,......x_n}$，对应概率表达为$p(X=x_i)$，则$X$的熵可表示为： $H(X) = \sum_{i=1}^np(x_i)logp(x_i)$ 2.相对熵（...
交叉熵（Cross-Entropy）与最大似然
__kingzone__的专栏
07-18 3942
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈p(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为：  I(x0)=−log(p(x0))I(x0)=−log(p(x0))，可以理解为...
KL散度与极大似然
ccbka的博客
11-23 4464
极大似然估计是一种概率论在统计学中的应用，建立在极大似然原理的基础上，极大似然原理的直观解释是：一个随机试验如有若干个可能的结果A、B、C、…，若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大，那么就取参数估计，使A出现的概率最大。 设随机变量Y具有概率密度函数，θ是参数向量。当我们得到Y的一组独立观测值时，定义θ的似然函数为。极大似然法是采用使L(θ)最大的
交叉熵和相对熵(KL散度)
harry的博客
06-27 598
说交叉熵之前先介绍相对熵，相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离，记为DKL(p||q)DKL(p||q)D_{KL}(p||q) DKL(p||q)=∑x∈Xp(x)logp(x)q(x)=∑x∈Xp(x)log p(x)−∑x∈Xp(x)log q(x)=−H(p)−∑x∈Xp(x)log q(...
交叉熵和相对熵（KL散度）
jzwei023的博客
04-07 627
信息量 熵 当一个事件发生的概率为 P(x)，那么它的信息量是 -log(p(x))。 那么熵就是信息量的期望。假如事件X有n种可能x1，x2，...，xn，发生xi的概率是p（xi），那么熵H（X）定义如下： 对于0-1分布问题（二项分布的特例），熵的计算方法可以简化为如下算式： 相对熵（KL散度） 相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information d
熵，交叉熵，相对熵
weixin_43929195的博客
10-26 877
机器学习中熵是基础中的基础，又是必不可少的。本文对自己已经学过的知识做一个简单的总结。 熵:熵在物理学中表示”一个系统内在的混乱程度“。比如一间房子如果没人打扫会越来越乱，课桌上的书会越来越乱等等。我们说宇宙终究会归于热寂，也是根据热力学第二定律，即作为一个“孤立”的系统，宇宙的会熵随着时间的流异而增加，由有序向无序，当宇宙的熵达到最大值时，宇宙中的其他有效能量已经全数转化为热能，所有物质温度达到热平衡。这种状态称为热寂。这样的宇宙中再也没有任何可以维持运动或是生命的能量存在。 信息熵:信息熵是香农..
似然函数与最大似然估计、交叉熵概念与机器学习中的交叉熵函数
记忆碎片的博客
12-22 3952
文章目录似然函数与最大似然估计似然的概念似然函数最大似然估计伯努利分布伯努利分布下的最大似然估计高斯分布高斯分布下的最大似然估计信息量、熵、相对熵、交叉熵、机器学习中的交叉熵信息量熵相对熵（KL散度） 似然函数与最大似然估计 似然的概念 “似然”用通俗的话来说就是可能性，极大似然就是最大的可能性。 似然函数 似然函数是关于统计模型中的一组概率的函数(这些概率的真实值我们并不知道)，似然函数的因变量...
信息熵 交叉熵 kl散度 js散度
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值