信息熵，交叉熵和相对熵

最新推荐文章于 2024-03-14 10:16:53 发布
转载 最新推荐文章于 2024-03-14 10:16:53 发布 · 993 阅读 · 2

目录

0.总述

1.信息熵

2.交叉熵

3.相对熵/KL散度(Kullback-Leibler divergence), 亦可称为KL距离

4.举例

5.参考资料

0.总述

现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。

按照真实分布p来编码样本所需的编码长度的期望为，这就是信息熵H( p )

按照不真实分布q来编码样本所需的编码长度的期望为，这就是所谓的交叉熵H( p,q )

这里引申出KL散度D(p||q) = H(p,q) - H(p) = ，也叫做相对熵

 

1.信息熵

熵的定义如下：熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。直白地解释就是信息中含的信息量的大小，其定义如下：

其曲线如下所示：

可以看出，一个事件的发生的概率离0.5越近，其熵就越大，概率为0或1就是确定性事件，不能为我们带信息量。也可以看作是一件事我们越难猜测是否会发生，它的信息熵就越大

2.交叉熵

交叉熵的公式定义如下：

其中p(x)在机器学习中为样本label，q(x)为模型的预估，分别代表训练样本和模型的分布

 

3.相对熵/KL散度(Kullback-Leibler divergence), 亦可称为KL距离

 

KL散度，也叫做相对熵，它表示两个分布的差异，差异越大，相对熵越大。

D(p||q) = H(p,q) - H(p) 

             

等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵

 

机器学习中，我们用非真实分布q去预测真实分布p。

因为真实分布p是固定的，H(p), 训练样本的熵，训练样本定，该值即为固定值。D(p||q) = H(p,q) - H(p) 中 H(p) 固定。

也就是说交叉熵H(p,q)越大，相对熵D(p||q)越大，两个分布的差异越大。

由于KL散度中的前一部分−H(y)不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。

4.举例

比如有如下样本， 对应的标签和预测值

*猫青蛙老鼠
Label010
Pred0.30.60.1

那么 

对应一个batch的loss就是 

m为当前batch的样本数

 

5.参考资料

https://blog.youkuaiyun.com/tsyccnh/article/details/79163834

https://blog.youkuaiyun.com/wenzishou/article/details/77618992

https://www.cnblogs.com/liaohuiqiang/p/7673681.html

 

【机器学习】信息熵、交叉熵、相对熵
热情、奔放、快乐编程！
01-04 342
H(X)=−i=1∑N​p(xi​)logp(xi​)一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高H(X)=−i=1∑N​p(xi​)logq(xi​)主要。交叉熵函数一般作为损失函数，用于评价预测值和样本值之间的差异。利用KL散度也可以，但是由于交叉熵加上信息熵可以得出KL散度，所以在优化过程中我们也只需要关注交叉熵就行，简化复杂度。
深入浅出之交叉熵与相对熵损失函数
浩瀚之水的专栏
09-23 1899
交叉熵是Shannon信息论中的一个重要概念，主要用于度量两个概率分布间的差异性信息。在机器学习中，交叉熵通常用于度量预测分布与真实分布之间的差异，特别是在分类任务中。交叉熵越小，表示预测分布越接近真实分布，模型的预测效果越好。
信息熵、交叉熵、相对熵
煎饼加鸡丝
07-23 605
【直观详解】信息熵、交叉熵和相对熵 熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 信息熵，描述信源的不确定度。 信息熵越大，越无序，越随机，信息量(的期望)越大，要消除不确定性所需信息量越大。 考虑把信息量存储下来需要多大空间/存储代价 (用存储空间表示信息熵(不确定性越高所需存储空间越大)) 举例：表示天气情况的P=[p1,p2,p3,p4]P...
信息熵，交叉熵与相对熵
liu3612162的博客
12-26 426
前言 最近在多处看到熵的概念，之前零散的了解了一下，最近总结下，加深一下理解。 熵 熵是信息论中的一个概念，用于衡量一个随机变量的不确定性，公式很简单：log(1/p(x))log(1/p(x))log(1/p(x))，其中p(x)p(x)p(x)为x的概率分布（离散）或者概率密度（连续）函数，公式很直观，概率越小熵越大，即信息量越大。 信息熵 信息熵为熵的期望，用于衡量一个分布的不确定性，以下为...
信息熵，交叉熵，相对熵
Rudy95的博客
08-12 291
信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度 交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数 相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。 参考链接：https://www.zhihu.com/question/41252833 神经网络中为什么...
相对熵、信息熵和交叉熵
咕噜咕噜
08-18 420
what： 交叉熵是信息论的重要概念；用于度量两个概率分布之间的差异性； 其他相关知识： 信息量： 信息是用来消除随机不确定的东西； 信息量的大小与信息发生的概率成反比； I(x)=−log(P(x))， p(x)表示某一事件发生的概率，log表示自然对数 举例： 信息量为0：“太阳从东边升起” 信息量极大：”2018年中国队成功进入世界杯“ 信息熵： 信息熵也叫熵，是用来表示所有信息量的期望； 期望是每次试验结果的概率 乘以 结果的总和，因此公式如下： 举例：..
香农熵、交叉熵和相对熵
jediael_lu的专栏
07-13 1326
1、自信息、香农熵 信息论的基本思想是一个不太可能得事件居然发生了，要比一个非常可能发生的事件发生，能提供更多的信息。 定义一个事件发生的自信息为： I(x)=−log⁡P(x) I(x) = -\log P(x) I(x)=−logP(x) P(x)P(x)P(x)为xxx事件发生的概率。如果log以自然对数e为底，则单位为奈特；如果以2为底，则单位为比特。 自信息只能处理单个的输出，我们可以使用香农熵来对整个概率分布中的不确定性总量进行量化： H(x)=Ex−p[I(x)]=−Ex−p[log⁡P(x)
【基础知识】熵、交叉熵、相对熵(KL散度) 是什么以及它们之间的区别
页页读
03-14 4505
熵（Entropy）和交叉熵（Cross-Entropy）是信息论中的两个基本概念，它们在机器学习、深度学习等领域有着广泛的应用。
信息熵，交叉熵,相对熵
柔丽君的博客
11-08 243
参考链接：https://www.zhihu.com/question/22178202/answer/577936758 信息熵：通过度量信息，来描述信息熵。 概率描述的是事件发生的确定性，熵表示的是事件发生的不确定性。 选取抛硬币这一不确定性事件作为度量，信息熵是1bit(两种等概率的可能，用bit来描述） （1）等可能事件： 通过对不确定性等可能的事件的数量取对数，可以得到信息熵。 例如小明做选择题ABCD,完全不确定该选哪个，这种情况下小明对每个选项的不确定性都是相同的，这里事件数量是4，取对数得到
信息熵公式的由来（转）
qq_15906905的博客
07-10 979
作者：忆臻链接：https://www.zhihu.com/question/22178202/answer/161732605来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 首先我们要区分信息量和信息熵的区别。 下面根据我的理解一步一步引出信息熵及其公式的来源： 信息熵的公式 先抛出信息熵公式如下： <img...
信息熵、相对熵与交叉熵
鲁班七号
09-24 477
目录1. 信息熵2. 相对熵3. 交叉熵4. 交叉熵与softmax 1. 信息熵   熵是一个信息论中的概念，表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。信息熵公式如下： H(p)=−∑i=1np(xi)logp(xi)H(p)=-\sum_{i=1}^{n}{p(x_i)logp(x_i)}H(p)=−i=1∑n​p(xi​)logp(xi​) 2. 相对熵   相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)p(x)p(x)和q(x)q(x)q(x)之间的差异
交叉熵与相对熵
09-26 192
　　　　熵的本质是香农信息量()的期望。 　　　　现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 　　　　按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 　　　　如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i...
信息熵、交叉熵与相对熵
LucyGill的博客
01-04 1301
本文参考了： https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5/7302318?fr=aladdin http://blog.youkuaiyun.com/zb1165048017/article/details/48937135 这三个概念广泛用于如nlp等深度学习任务中。TF-IDF等概念，是基于这些基本概念衍生出来的。
【机器学习】一文理清信息熵，相对熵，交叉熵
Shwan_ma的博客
03-25 988
初学者在搞清楚这个三个信息论的大怪兽时，往往会晕头转向。本文将简要的对这三个概念进行理清，文章尽量通俗，有不对的地方恳请斧正。 信息熵： 香农提出信息熵主要是用来解决对信息的量化度量问题，比如说存在选项【A,B,C,D】，若每个字母都用8位Ascii码存储，则表示这个四个选项需要32位bit。 如果此时采用二进制的话，4个选项用2位bit便可表示【00,01,10,11】。于是对4个选项信息进行量...
【直观详解】信息熵、交叉熵和相对熵
qwezhaohaihong
10-21 977
转载自：https://charlesliuyx.github.io/2017/09/11/%E4%BB%80%E4%B9%88%E6%98%AF%E4%BF%A1%E6%81%AF%E7%86%B5%E3%80%81%E4%BA%A4%E5%8F%89%E7%86%B5%E5%92%8C%E7%9B%B8%E5%AF%B9%E7%86%B5/ 【阅读时间】10min - 13min 【内...
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值