信息熵，交叉熵，相对熵

最新推荐文章于 2025-05-09 13:21:55 发布
最新推荐文章于 2025-05-09 13:21:55 发布
阅读量290 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 机器学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Rudy95/article/details/99169868
本文深入探讨了信息熵的概念，即衡量系统不确定性的指标，以及交叉熵在神经网络中的应用，特别是在分类任务中作为损失函数的角色。同时，介绍了相对熵（散度）的概念，即编码方案不完美时平均编码长度的增加部分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

信息熵：衡量系统中不确定的程度、编码方案完美时，最短平均编码长度
交叉熵：码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度。是神经网络常用的损失函数
相对熵又称为散度：交叉熵-信息熵，relative entropy。编码方案不一定完美时，平均编码长度相对于最小值的增加值。
参考链接：https://www.zhihu.com/question/41252833
神经网络中为什么使用交叉熵与softmax组合的原因？
交叉熵刻画的是预测的分布与真实分布之间的差异，softmax可以将预测的值转化成一个概率分布。

为什么用交叉熵作为分类的损失函数？

https://blog.youkuaiyun.com/weixin_37567451/article/details/80895309

信息熵、交叉熵、相对熵
煎饼加鸡丝
07-23 602
【直观详解】信息熵、交叉熵和相对熵 熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 信息熵，描述信源的不确定度。 信息熵越大，越无序，越随机，信息量(的期望)越大，要消除不确定性所需信息量越大。 考虑把信息量存储下来需要多大空间/存储代价 (用存储空间表示信息熵(不确定性越高所需存储空间越大)) 举例：表示天气情况的P=[p1,p2,p3,p4]P...
信息熵、相对熵、交叉熵总结
leemusk的博客
07-21 710
1、什么是信息熵 信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为： H(P)=−∑P(X)logP(X) H(P) = -\sum P(X) logP(X) H(P)=−∑P(X)logP(X) 2. 什么是相对熵 相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计
熵和交叉熵
最新发布
AI大模型/Python/Java/MySQL技术栈，快来和我一起学习吧 ~
05-09 758
交叉熵（Cross-Entropy）则是熵的延伸，直接用于评估模型预测分布与真实数据分布之间的差距，是分类任务中最常用的优化目标之一。将熵与交叉熵的公式分解为可理解的部分，通过逻辑分步和生活化类比，帮助读者掌握其数学本质与实际意义。通过具体机器学习任务，说明熵与交叉熵在模型训练和优化中的实际作用，并展示其解决实际问题的流程。明确熵与交叉熵的数学定义，通过通俗类比解释其核心思想，并说明其在机器学习中的直观意义。让读者理解熵和交叉熵在信息论与机器学习中的核心地位，并掌握其在模型优化中的实际意义。
信息熵，交叉熵和相对熵
sunflower_sara的机器学习园地
07-23 987
目录 0.总述 1.信息熵 2.交叉熵 3.相对熵/KL散度(Kullback-Leibler divergence), 亦可称为KL距离 4.举例 5.参考资料 0.总述 现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。 按照真实分布p来编码样本所需的编码长度的期望为，这就是信息熵H( p ) 按照不真实分布q来编码样本所需的编码长度的期望为，这就是所谓的...
信息熵，交叉熵,相对熵
柔丽君的博客
11-08 242
参考链接：https://www.zhihu.com/question/22178202/answer/577936758 信息熵：通过度量信息，来描述信息熵。 概率描述的是事件发生的确定性，熵表示的是事件发生的不确定性。 选取抛硬币这一不确定性事件作为度量，信息熵是1bit(两种等概率的可能，用bit来描述） （1）等可能事件： 通过对不确定性等可能的事件的数量取对数，可以得到信息熵。 例如小明做选择题ABCD,完全不确定该选哪个，这种情况下小明对每个选项的不确定性都是相同的，这里事件数量是4，取对数得到
相对熵、信息熵和交叉熵
咕噜咕噜
08-18 417
what： 交叉熵是信息论的重要概念；用于度量两个概率分布之间的差异性； 其他相关知识： 信息量： 信息是用来消除随机不确定的东西； 信息量的大小与信息发生的概率成反比； I(x)=−log(P(x))， p(x)表示某一事件发生的概率，log表示自然对数 举例： 信息量为0：“太阳从东边升起” 信息量极大：”2018年中国队成功进入世界杯“ 信息熵： 信息熵也叫熵，是用来表示所有信息量的期望； 期望是每次试验结果的概率 乘以 结果的总和，因此公式如下： 举例：..
熵、相对熵和交叉熵的区别与联系
condi1997的博客
05-13 1593
目录一.信息量二.熵（信息熵）三.相对熵（KL散度）四.交叉熵五.交叉熵在单分类问题中的应用 一.信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。 ”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句
熵、相对熵、交叉熵等理解
weixin_41093566的博客
04-11 1104
** 信息量 ** 假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
【基础知识】熵、交叉熵、相对熵(KL散度) 是什么以及它们之间的区别
页页读
03-14 4470
熵（Entropy）和交叉熵（Cross-Entropy）是信息论中的两个基本概念，它们在机器学习、深度学习等领域有着广泛的应用。
信息熵，交叉熵与相对熵
liu3612162的博客
12-26 421
前言 最近在多处看到熵的概念，之前零散的了解了一下，最近总结下，加深一下理解。 熵 熵是信息论中的一个概念，用于衡量一个随机变量的不确定性，公式很简单：log(1/p(x))log(1/p(x))log(1/p(x))，其中p(x)p(x)p(x)为x的概率分布（离散）或者概率密度（连续）函数，公式很直观，概率越小熵越大，即信息量越大。 信息熵 信息熵为熵的期望，用于衡量一个分布的不确定性，以下为...
熵 信息熵 交叉熵
TranSad的博客
02-12 2003
在信息论当中，我们经常用熵来表示信息的混乱程度和不确定程度。熵越大，信息的不确定性就越强。 熵的公式如下： （注：log默认以2为底） 把这个公式拆开来看其实非常简单：一个负号，一个p(x)以及log(p(x))。我们知道一个事件发生的概率是0-1之间的，这样一个概率值送入log函数（如下图），肯定是小于0的，所以外面再加一个符号，就可以得到我们常见的正值的熵了。 当概率值趋于0或者1时（即确定性很强），则p(x)或者log(p(x))会趋于0，熵就会小；当概率值趋于1/2时...
信息熵、相对熵与交叉熵
鲁班七号
09-24 474
目录1. 信息熵2. 相对熵3. 交叉熵4. 交叉熵与softmax 1. 信息熵   熵是一个信息论中的概念，表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。信息熵公式如下： H(p)=−∑i=1np(xi)logp(xi)H(p)=-\sum_{i=1}^{n}{p(x_i)logp(x_i)}H(p)=−i=1∑n​p(xi​)logp(xi​) 2. 相对熵   相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)p(x)p(x)和q(x)q(x)q(x)之间的差异
信息熵、交叉熵与相对熵
LucyGill的博客
01-04 1296
本文参考了： https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5/7302318?fr=aladdin http://blog.youkuaiyun.com/zb1165048017/article/details/48937135 这三个概念广泛用于如nlp等深度学习任务中。TF-IDF等概念，是基于这些基本概念衍生出来的。
信息熵、交叉熵等相关基础知识
weixin_45653897的博客
04-19 1180
信息熵、交叉熵等基本概念
【机器学习】一文理清信息熵，相对熵，交叉熵
Shwan_ma的博客
03-25 985
初学者在搞清楚这个三个信息论的大怪兽时，往往会晕头转向。本文将简要的对这三个概念进行理清，文章尽量通俗，有不对的地方恳请斧正。 信息熵： 香农提出信息熵主要是用来解决对信息的量化度量问题，比如说存在选项【A,B,C,D】，若每个字母都用8位Ascii码存储，则表示这个四个选项需要32位bit。 如果此时采用二进制的话，4个选项用2位bit便可表示【00,01,10,11】。于是对4个选项信息进行量...
交叉熵和信息熵
SZU_Hadooper的博客
04-24 2048
交叉熵： 用于多分类的损失函数，熵越大模型越不确定，熵越小模型越确定，即优化模型目的是最小化交叉熵 公式如下： 例子： 信息熵： 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量，信息熵大小与观测者的观测粒度有关，即在P(xi)P(x_i)P(xi​)这个观测分布下熵的大小 相对熵（KL散度） 如果对于同一个随机变量XXX有两个单独的概率分布P(x)P(x)P(x)和Q(x...
信息熵 交叉熵 kl散度 js散度
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或“距离”，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值