KL散度&交叉熵&信息熵&不确定性信息度量

最新推荐文章于 2024-03-05 20:48:18 发布
原创 最新推荐文章于 2024-03-05 20:48:18 发布 · 1.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

0.起源

物理学中的热力学 熵：度量分子在物理空间中的混乱程度；

1.信息熵

信息熵： 度量信息量的多少；
以离散信息为例
离散符号：x1，x2，…，xn；
信息中各符号出现的概率：p1，p2，…，pn；
信息的不确定性函数： f： p—f（p）；
p越大，信息的不确定性越小，因此f是一个 减函数；
假设前提： 各符号的出现是相互独立的（与实际不符）
则：f（p1，p2）=f（p1）+f（p2），即f具有可加性；

满足 减函数和可加性 的不确定性函数f 定义为：
在这里插入图片描述
信息熵： 信息的平均不确定性
在这里插入图片描述

2.交叉熵

主要用于度量两个概率分布间的差异性信息。
P–X 真实分布 ； Q–Y拟合分布

最低0.47元/天 解锁文章
信息论基础知识：【信息熵 &不确定性】
专注于计算机研发知识和资讯分享
01-23 2万+
前言 传播同一则信息，信息的量好像弹性空间很大，我们应该如何测一测这个信息的量呢？如果这个信息的量是可测，那么要传递一条信息，有没有量的下限呢？也就是说，我们至少要用去多少个单位量才能完整表达这条信息呢？我们甚至还可以进一步想，要传递一条信息最少需要多少卡路里的能量呢？ 信息熵 信息熵代表了一个黑盒子中的不确定性，或者说，要搞清楚这个黑盒子的秘密所需要的信息。(例子：怎么用鼓点准确传达消息呢？方...
机器学习中使用的交叉熵（cross entropy）透彻分析
m0_37957160的博客
06-05 1472
从字面分析交叉熵，1是交叉、2是熵（熵与信息量有关）；首先交叉熵涉及信息论里面的东西，想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解。 （1）信息量 衡量信息量可以用大小或者多少来形容，就是你传达的信息能别人带来多大的价值感吧，首先我说明天会下雨，这句话的信息量有多少呢？（我也不知道啊，哈哈）但是你说中国疫情现在已经结束了；mei国疫情也已经结束了。显然仅凭直觉，我们可以看出你要传达的第二句话比第一句话的信息量要大，因为中国的疫情我们大家很显然知道已经结束了，这句话发生概率几乎为1，
信息熵,KL散度和交叉熵
qq_40875308的博客
04-05 258
总结一些在机器学习中常用的信息论的概念 信息熵 信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事 件发生，能提供更多的信息 ...
信息量、信息熵、KL散度、交叉熵
Roaddd的博客
12-15 1774
信息量 定义：        香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的。一个消息的可能性愈小，其信息愈多；而消息的可能性愈大，则其信息量愈少；事件出现的概率小，不确定性越多，信息量就大，反之则少。香农认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 示例： 1）“明天太阳从东边升起”，信息量为0。 2）“明天我会中500W彩票”，信息量
信息熵，交叉熵与相对熵
liu3612162的博客
12-26 456
前言 最近在多处看到熵的概念，之前零散的了解了一下，最近总结下，加深一下理解。 熵 熵是信息论中的一个概念，用于衡量一个随机变量的不确定性，公式很简单：log(1/p(x))log(1/p(x))log(1/p(x))，其中p(x)p(x)p(x)为x的概率分布（离散）或者概率密度（连续）函数，公式很直观，概率越小熵越大，即信息量越大。 信息熵 信息熵为熵的期望，用于衡量一个分布的不确定性，以下为...
模型量化中的KL散度扫盲
tugouxp的专栏
01-18 2896
我是万万没想到，最后还是入了算法的坑，虽然和正经数学，信息学相关专业的同学没法比，充其量算是半个爱好者，但是逐渐愿意投入时间思考这方面的问题，对于一个年近不惑的中年人来说，不知道是幸还是不幸。 今天扫盲的是KL散度算法，在神经网络前向传递的过程中，KL三度算法用来评估各层量化前后的信息损失。 下面一段文字来自于网文摘抄，觉得不错，至少感觉假以时日，自己可以理解，权且贴在这里： K-L散度，全称是Kullback-Leibler Divergence，是一种量化两种概率分布P和Q之间差异的方式，又叫相对
一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数
热门推荐
m0_62881487的博客
09-26 1万+
1. 熵是一个物理学概念，它表示一个系统的不确定性程度，或者说是一个系统的混乱程度。2. 信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为 “香农熵” 或者 “信息熵”。
关于信息熵 ，KL散度，交叉熵，一文读懂（bushi)。
YI_SHU_JIA的博客
11-29 1653
也是看其他大佬的说法。比如这个信息熵是什么？ - 知乎 大家都知道 ，对于一个概率分布，信息熵的公式是： 表示发生的概率。定义公式我就不再赘述，已经有很多了。确实和我们的印象比较符合，一件事概率越大，他发生了，信息量就越小。太阳天天东边升，一点也不吃惊。太阳哪天从西边来了，说明人类换了东西的叫法。 我们来看一个例子。现在有一条公路，四家公司A,B,C,D负责这条公路的打扫和维护。A来的早，他从里面先选了二分之一。B来了，他占了四分之一，C来了，再选八分之一,D来了，只...
信息熵、KL散度、交叉熵、互信息、点互信息
m0_61688615的博客
03-05 3225
概率论基础知识的介绍
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
晴明大大的创作中心
04-29 5407
熵 什么是熵呢？ 简单来讲，熵就是表示一个事件的确定性程度如何。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。 比如假设事件Q，有A、B、C三种情况都是有概率性发生的，但是不定。如果其中A比B、C两种种发生的概率更大，那么事件Q发生A的可能性更加确定，换句话说，不确定性更小；如果其中A与B、C两种发生的概率都相等，那么事件Q发生A、B、C的情况都有可能，不确定会发生哪一个，换句话说，不确定性更大。 所以确定性程度越大（即不确定性程度越低），熵越小；确定性程度越低（即不确定性程度
kl散度定义_机器学习小知识: 图解熵、交叉熵和 KL散度
weixin_39828956的博客
12-03 490
交叉熵是分类问题中最常用的损失函数之一。但是由于如今有大量容易上手的现成库和框架，我们大多数人常常在没有真正了解熵的核心概念的情况下，就可以熟练地解决问题。在本文中，让我们研究一下熵这个概念背后的基本直觉，并将其与交叉熵、KL-散度相关联。我们还将使用交叉熵作为损失函数，结合一个实例来看看它在分类问题中的应用。1什么是熵？首先，本文指的熵是指信息熵。想要明白熵的确切含义，先让我们了解一下...
度量不确定性——云理论
Infomation Optimus
01-22 702
李德毅老师开创的云理论，是对传统的隶属函数概念的扬弃。自然界中大量模糊概念可以用正态云来刻划的事实，导致了对正态云外部特征以及内部机理的深入研究。模糊概念可表述为一个边界具有不同弹性的，收敛于正态分布函数的云。实质上，云是用语言值表示的某个定性概念与其定量表示之间的不确定性转换模型，云的数字特征可用期望值Ex、熵En、超熵He三个数值来表征，它把模糊性和随机性完全集成到一起，构成定性和定量相互间的...
不确定建模学习笔记
weixin_39112744的博客
04-01 1674
一、介绍：了解我们不知道的事物的重要性 二、不确定性语言 三、贝叶斯深度学习 四、不确定性质量 五、应用 六、深入洞察 七、研究展望 第一节：知道我们所不知道的。 1.1Aleatoric uncertainty and epistemic uncertainty 任意不确定性和认知不确定性 认知不确定性也称model uncertainty（模型不确定性），包含unce...
pytorch学习笔记（十）————交叉熵
weixin_43886278的博客
02-11 542
pytorch学习笔记（九）————交叉熵 (1)熵的定义 熵(Entropy)代表事件所包含的不确定性，也叫作惊喜度。熵越高则代表事件的不确定性越高，具体原因可参考博客：https://blog.youkuaiyun.com/am290333566/article/details/81187124 举个例子： 1.假如有四个事件，发生的概率都是0.25，也就是说这四个事件发生的概率一样，很难在一开始就预...
信息熵（不确定性）的理解与解释
weixin_43348682的博客
10-16 1万+
补充： 熵越高，说明事件的不确定性越大。而信息不确定性越大时，该信息的价值越高。 总结： 1、某随机事件结果的种类越多，该事件的熵越大 2、某随机事件的各种可能发生的结果概率越均匀，该事件的熵越大 ...
VAE系列之KL散度推导和理解
xinxiang7
04-10 2519
储备知识 多维高斯公式的表达和推导 一维正态分布都为大家所熟知： N(x;μ,σ2)=12πσ2exp(−(x−μ)22σ2)N(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})N(x;μ,σ2)=2πσ2​1​exp(−2σ2(x−μ)2​) 对于多维高斯分布，x⃗=(x1,x2,....
程序员的数学课10 信息熵：事件的不确定性如何计算？
fegus的博客
10-01 1235
你好，欢迎来到第 10 课时——信息熵：事件的不确定性如何计算？从加乘法则开始，我们基于事情的不确定性出发，尝试计算事情发生的可能性。然而，。我说的这句话是什么意思呢？下面我举个例子来说明。假设有两场足球赛，也就是两个事件。第一场足球赛，对阵的双方是老挝队和巴西队，标记为事件 A；第二场足球赛，对阵的双方是阿根廷队和葡萄牙队，标记为事件 B。显然，在比赛开始前，这两个事件的比赛结果都具备一定的不确定性。人们也会根据历史数据，分别计算两场足球赛结果的概率。
每日一个机器学习算法——信息熵
weixin_34087307的博客
09-13 578
1 定义 2 直观解释 信息熵用来衡量信息量的大小 若不确定性越大，则信息量越大，熵越大 若不确定性越小，则信息量越小，熵越小 比如A班对B班，胜率一个为x，另一个为1-x 则信息熵为 -(xlogx + (1-x)log(1-x)) 求导后容易证明x=1/2时取得最大，最大值为2 也就是说两者势均力敌时，不确定性最大，熵最大。 3 应用 数据挖掘中的决策树。 构建决策树...
熵(测量不确定性的量度)
家家的专栏
11-24 2374
<br />　在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。 <br />    <br />    熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农（Clau
信息熵 交叉熵 kl散度 js散度
最新发布
03-24
### 信息熵 信息熵是一种衡量随机变量不确定性的指标。对于离散型随机变量 \(X\)，其概率质量函数为 \(P(X)\)，则信息熵定义如下： \[ H(X) = - \sum_{i=1}^{n} P(x_i) \log_2(P(x_i)) \] 其中，\(P(x_i)\) 表示事件 \(x_i\) 发生的概率[^1]。 信息熵越高，则系统的不确定性越大；反之亦然。 --- ### 交叉熵 交叉熵是用来衡量两个概率分布之间差异的一种方法，在机器学习中广泛应用于分类任务中的损失计算。假设真实分布为 \(P\)，预测分布为 \(Q\)，那么交叉熵可以表示为： \[ H(P, Q) = - \sum_{i=1}^{n} P(x_i) \log(Q(x_i)) \] 这里需要注意的是，交叉熵不仅依赖于真实的概率分布 \(P\)，还取决于模型预测的概率分布 \(Q\)。因此，它是评估模型性能的重要工具之一[^2]。 --- ### KL 散度 KL 散度（Kullback-Leibler divergence），也称为相对熵，用于量化两个概率分布之间的差异程度。给定两个概率分布 \(P\) 和 \(Q\)，KL 散度的公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} P(x_i) \log{\frac{P(x_i)}{Q(x_i)}} \] 值得注意的是，KL 散度具有 **非对称性** 和 **非负性** 的特点。即通常情况下 \(D_{KL}(P || Q) \neq D_{KL}(Q || P)\)[^3]。 --- ### JS 散度 JS 散度（Jensen-Shannon divergence）是对称版本的 KL 散度，解决了 KL 散度不对称的问题。它通过引入中间分布来实现这一点。设 \(M = \frac{1}{2}(P + Q)\)，则 JS 散度可写成： \[ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) \] 由于 JS 散度基于 KL 散度构建，所以它的取值范围在 \([0, 1]\) 内，并且满足对称性和有限性条件。 --- ### 定义区别与联系 | 指标 | 描述 | |------------|------------------------------------------------------------------------------------------| | **信息熵** | 测量单个随机变量本身的不确定性 | | **交叉熵** | 度量两个概率分布间的差异，主要用于监督学习中的目标优化 | | **KL 散度** | 计算一个分布相对于另一个分布的信息增益或&ldquo;距离&rdquo;，是非对称的 | | **JS 散度** | 基于 KL 散度改进而来，解决非对称问题并提供更稳定的数值表现 | 这些概念都属于信息论范畴，但在实际应用中有不同的侧重点。例如，交叉熵被频繁用作神经网络训练的目标函数，而 KL 散度更多地出现在变分推断等领域。 --- ### 在机器学习和深度学习中的作用 - **信息熵**：帮助理解数据集内部结构以及特征的重要性。 - **交叉熵**：作为分类任务的核心损失函数，指导模型参数调整以最小化误差。 - **KL 散度**：适用于生成对抗网络 (GANs) 或变分自编码器 (VAEs) 中隐空间分布匹配的任务。 - **JS 散度**：相比 KL 更加稳定可靠，尤其适合处理不平衡样本情况下的相似度比较场景。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值