交叉熵，相对熵（KL散度），互信息（信息增益）及其之间的关系

最新推荐文章于 2025-03-12 22:00:00 发布
最新推荐文章于 2025-03-12 22:00:00 发布
阅读量6.4k 收藏 23
点赞数 12
分类专栏： 机器学习 文章标签： 信息论 KL散度（相对熵） 交叉熵 互信息（信息增益）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41978536/article/details/89016305
版权

刚刚查了点资料，算是搞清楚了相对熵与互信息之间的关系。在这里记录一下，后面忘记的话可以方便查阅。

首先，同一个意思的概念太多也是我开始搞混这些概念的原因之一。

首先说一下编码问题：

最短的平均编码长度 = 信源的不确定程度 / 传输的表达能力。
其中信源的不确定程度，用信源的熵来表示，又称之为被表达者，传输的表达能力，称之为表达者表达能力，如果传输时有两种可能，那表达能力就是 l o g 2 2 = 1 log_{2}^{2}=1 log22​=1，如果是传输时有三种可能，那表达能力就是 l o g 2 3 log_2^3 log23​。
交叉熵
假设有这样一个样本集，p为它的真实分布，q为它的估计分布。如果按照真实分布p来度量识别一个样本所需要的编码长度的期望为：
在这里插入图片描述
如果使用估计的分布q来表示来自真实分布p的平均编码长度，则下面表达式就是交叉熵：

最低0.47元/天 解锁文章
信息论知识：互信息、交叉熵、KL散度
简单快乐
07-05 5754
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。消息说：‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送，但一条消息说：‘‘今天早上有日食’’ 信息量就很丰富。 我们想要通过这种基本想法来量化信息。定义三个性质 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。 较不可能发生的事件具有更高的信息量。 ...
交叉熵和KL散度
yangweipeng708的博客
04-06 950
交叉熵（Cross Entropy）函数和KL散度（Kullback-Leibler Divergence）函数都是用于度量概率分布之间的相似性或差异性的函数。它们在信息论和机器学习中都有着重要的应用，尤其在深度学习中常用于损失函数的设计和模型训练中。
熵、交叉熵、条件熵、互信息
Hello Word!
05-27 508
关于softmax和交叉熵：probability，odds，logit, softmax, logSoftmax，交叉熵 熵： 随机事件X有n种可能发生的情况，每种情况发生的概率为pip_ipi​ H(X)=−∑i=1npilog(pi)H(X)=-\sum_{i=1}^{n} p_ilog(p_i)H(X)=−i=1∑n​pi​log(pi​) 交叉熵： 度量两个概率分布p、q之间的差异，yiy_iyi​服从q分布，pip_ipi​服从p分布 Ci=−∑j=1Cyjlog(pj)C_i = -\sum
机器学习的 “信息免疫系统”：熵、互信息和 KL 散度
极客BIM工作室
03-12 978
在机器学习中，熵、互信息和 KL 散度分别用于衡量数据的不确定性、变量间的依赖程度以及概率分布的差异：熵量化数据分布的混乱程度，指导特征选择和生成模型的多样性控制；互信息评估两个变量的关联强度，用于特征筛选和多模态对齐；KL 散度则比较两个分布的偏离程度，在模型训练、迁移学习和异常检测中校准输出。三者共同构成机器学习的 “信息免疫系统”，从数据预处理到模型优化全流程中，帮助系统应对不确定性、捕捉关键关联并纠正偏差，确保算法在复杂任务中保持稳健性。熵（Entropy）是信息论和热力学中的核心概念，其物理意义和
熵，交叉熵，互信息
woshiliulei0的专栏
07-26 524
一，熵(信息熵) 1.定义 信息熵描述的是对随机变量不确定性的度量，不确定性越大，信息熵值就越大。 2.公式 Lθ(x)=−p(x)log(p(x))L_\theta(x) =- p(x)log(p(x))Lθ​(x)=−p(x)log(p(x)) 二，交叉熵 2.公式 Lθ(x)=−p(x)log(q(x))L_\theta(x) =-p(x)log(q(x))Lθ​(x)=−p(x)log(q...
交叉验证 交叉熵 互信息
jiaobei2354717的专栏
09-04 1185
http://blog.sina.com.cn/s/blog_49c7131d0100s7lc.html
交叉熵、信息熵、KL散度、互信息与Information Bottleneck【信息瓶颈IB】之间的关系
qq_45249273的博客
10-27 4709
信息熵，相对熵（KL），交叉熵、互信息和信息瓶颈
交叉熵与KL散度
qq_41878154的博客
09-12 614
对于离散随机变量，其概率分布P 和 Q的KL散度可按下式定义为等价于即按概率P求得的P和Q的对数商的平均值。KL散度仅当概率P和Q各自总和均为1，且对于任何i皆满足及时，才有定义。式中出现的情况，其值按0处理。对于连续随机变量，其概率分布P和Q的KL散度可按积分方式定义为[2]其中p和q分别表示分布P和Q的密度。更一般的，若P和Q为集合X的概率测度，且P关于Q绝对连续，则从P到Q的KL散度定义为其中，假定右侧的表达形式存在，则为Q关于P的R–N导数。相应的，若P关于Q绝对连续，则。
详解熵， 交叉熵，KL散度，互信息
jiede1的博客
06-06 1687
首先介绍几个信息论中的概念。 熵， 表示某个概率分布的不确定度： H(x)=−∑p(x)logp(x) H(x) = - \sum p(x) log p(x) H(x)=−∑p(x)logp(x) 联合熵，两个变量联合分布的不确定度： H(x,y)=∑∑p(x,y)logp(x,y) H(x,y) = \sum \sum p(x,y) log p(x,y) H(x,y)=∑∑p(x,y)logp(x,y) 条件熵，在X确定后，Y的不确定度： H(Y∣X)=∑p(xi)H(Y∣X=xi)=∑∑p(x,y)
KL散度（相对熵，信息增益）学习笔记
蓁蓁尔的博客
06-28 1万+
1.定义根据查阅相关资料，知相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对称性的度量。 对一个离散随机变量的两个概率分布P和Q来说，他们的KL散度定义为： 对于连续的随机
交叉熵理解深度学习互信息
kyle1314608的博客
06-10 445
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GA...
谈谈：熵、交叉熵、互信息、KL散度
Matt_sh的博客
06-06 679
熵相关
熵、互信息与相对熵的关系
活到老，学到老~
04-28 2018
介绍相对熵的概念及其与熵、互信息的关系。
信息论：熵与互信息
热门推荐
皮皮blog
11-25 9万+
熵/信息熵http://这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。
信息熵、KL散度、交叉熵、互信息、点互信息
m0_61688615的博客
03-05 2538
概率论基础知识的介绍
自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系
phymat.nico的专栏
09-22 526
【深度学习基础】：信息论(一)_自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系_bqw的博客-优快云博客详解机器学习中的熵、条件熵、相对熵和交叉熵 - 遍地胡说 - 博客园
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
xian0710830114的专栏
12-10 2万+
一、熵 对于离散型随机变量，当它服从均匀分布时，熵有极大值。取某一个值的概率为1，取其他所有值的概率为0时，熵有极小值（此时随机变量退化成确定的变量）。对于离散型随机变量，假设概率质量函数为p(x)，熵是如下多元函数 ： 伯努利分布的熵为： 对于连续型随机变量，假设概率密度函数为p(x)，熵（也称为微Differential Entropy分熵 ）定义为： 二、联合熵 联合熵（Joint Entropy）是熵对多维概...
信息论中熵 联合熵 条件熵 相对熵（KL散度）（交叉熵） 互信息 （信息增益）的定义 及关联
Forrest97的博客
06-03 4216
熵（Entropy）的理论知识 定义 在信息论中，熵被定义为随机变量的平均不确定度的度量。也是平均意义上描述随机变量所需的信息量的度量。 设XXX是一个离散型随机变量，其字母表（即概率论中的取值空间）为χ\chiχ。概率密度函数p(x)=Pr(X=x),x∈χp(x)=Pr(X=x), x\in\chip(x)=Pr(X=x),x∈χ， 则一个离散随机变量XXX的熵H(X)H(X)H(X)定义为 H(X)=−∑p(x)log⁡2p(x) H(X)=-\sum p(x)\log_{2} p(x) H(X)
信息熵、交叉熵、相对熵、条件熵、互信息的讲解和推导
qq_45802280的博客
12-01 918
各种熵理论的推导整理，包括信息熵、交叉熵、相对熵、条件熵、互信息
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值