KL散度（相对熵，信息增益）学习笔记

最新推荐文章于 2025-05-17 16:27:05 发布
最新推荐文章于 2025-05-17 16:27:05 发布
阅读量1.2w 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013527419/article/details/51776786
本文详细介绍了KL散度（Kullback-Leibler divergence），它是一种衡量两个概率分布差异的非对称性度量。KL散度在信息论中用于评估使用基于Q的编码来编码来自P的样本所需额外的比特数。文章还探讨了其非对称性和非负性性质，并在用户画像和推荐系统中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.定义

根据查阅相关资料，知相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。
KL散度是两个概率分布P和Q差别的非对称性的度量。
对一个离散随机变量的两个概率分布P和Q来说，他们的KL散度定义为：
这里写图片描述

对于连续的随机变量，定义为：
这里写图片描述。

注：
（1）p(x) 和q(x)分别是pq两个随机变量的PDF,Dkl(P||Q)是一个数值，而不是一个函数
（2）KL散度并不满足距离的概念，应为：1）KL散度不是对称的；2）KL散度不满足三角不等式。
（3）P通常指数据集，我们已有的数据集，Q表示理论结果

2.性质

（1）尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q) ≠ D(Q||P)

（2）相对熵的值为非负值，即Dkl(P||Q)≥0，只有 P(x)=Q(x) 几乎处处成立的时候，Dkl(P||Q)=0.
证明：利用 Jensen’s Inequality（直接用，证明略），可以得到。
吉布斯不等式内容如下：
所以，移项即可得到KL散度的证明。

3

最低0.47元/天 解锁文章

200万优质内容无限畅学
交叉熵，相对熵（KL散度），互信息（信息增益）及其之间的关系
qq_41978536的博客
04-04 6534
刚刚查了点资料，算是搞清楚了相对熵与互信息之间的关系。在这里记录一下，后面忘记的话可以方便查阅。 首先，同一个意思的概念太多也是我开始搞混这些概念的原因之一。 首先说一下编码问题： 最短的平均编码长度 = 信源的不确定程度 / 传输的表达能力。 其中信源的不确定程度，用信源的熵来表示，又称之为被表达者，传输的表达能力，称之为表达者表达能力，如果传输时有两种可能，那表达能力就是log22=1log_...
从“信息增益”到KL Divergence 和 Cross Entropy
好记性不如烂键盘
10-15 1295
从“信息增益”到KL Divergence 和 Cross Entropy
KL散度 (Kullback-Leibler Divergence)
最新发布
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
05-17 909
在AI和机器学习中，它不仅是理论分析的基础，也是许多算法设计（如变分自编码器VAE、策略优化RL算法如TRPO、PPO等）中的关键组成部分，用于度量信息损失、约束模型行为或指导模型学习。在RLHF中，它扮演了稳定器和安全阀的角色，确保在通过强化学习优化模型以符合人类偏好时，模型不会偏离其已学到的有用知识太远。KL散度，也称为相对熵 (Relative Entropy)，是信息论中一个核心概念，用于衡量两个概率分布之间的差异。，则KL散度为无穷大，意味着如果。的一部分（或者更准确地说，是。
KL Divergence KL散度
知之可否
03-09 2万+
在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。 有人将KL散度称为KL距离，但事实
信息、信息量、信息熵、互信息、基尼系数、信息增益、KL散度
Mark_Australia的博客
03-29 1405
信息熵等相关概念
【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）
haolexiao的专栏
04-12 2万+
首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。 信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为
PRML读书会第十章 Approximate Inference（近似推断，变分推断，KL散度，平均场， Mean Field ）
Nietzsche2015的专栏
02-03 1万+
第十章的主要内容是变分推断（Variational Inference），由中科院自动化所戴玮博士（前后分三次讲完。精彩内容有：为什么需要近似推断、变分推断用到的KL散度、根据平均场（Mean Field）思想的分解以及迭代求最优解的推导，最后用了三个例子来加深理解。
《机器学习》(入门1-2章)
mantch
10-09 546
开篇前话       这篇笔记适合机器学习初学者，我是加入了一个DC算法竞赛的一个小组，故开始入门机器学习，希望能够以此正式进入机器学习领域。       在网上我也找了很多入门机器学习的教程，但都不让人满意，是因为没有一个以竞赛的形式来进行教授机器学习的课程，但我在DC学院上看...
【DL笔记】相对熵与交叉熵
roguesir的博客
08-22 1511
相对熵与交叉熵
机器学习笔记（一）
weixin_45033302的博客
11-16 5914
特征工程 一、特征归一化 线性函数归一化 零均值归一化 意义：未归一化的数据在梯度下降中需要较多的迭代才能找到最优解。 应用：通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络，但对于决策树模型则并不适用，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益。 二、类别型特征 序号编码 独热编码：使用稀疏向量，特征向量只有某一维取值为 1，其他位置
KL散度（Kullback-Leibler Divergence，KLD）
weixin_44012667的博客
03-13 4140
对于两个离散概率分布。
生成模型、最大化似然、KL离散度
12-23
生成模型、最大化似然、KL离散度 ，
【数据挖掘】KL散度（Kullback-Leibler Divergence, KLD）
dundunmm的博客
03-12 1164
KL 散度是一种衡量两个概率分布相似度的重要工具，在机器学习、深度学习、NLP 和数据压缩等多个领域有广泛应用。它是非对称的，且可以用交叉熵来表示，在变分推断、信息论和深度学习模型优化中至关重要。是衡量两个概率分布 P 和 Q之间差异的一种非对称度量。它用于描述当使用分布 Q 逼近真实分布 P 时，信息丢失的程度。因此，最小化 KL 散度等价于最小化交叉熵。
信息论常见概念：熵、互信息、KL散度和信息增益
Alvin_hcf的Blog
08-23 1988
文章目录熵信息量熵联合熵条件熵相对熵互信息信息增益 熵 信息的不确定度 信息量 熵 联合熵 条件熵 相对熵 互信息 信息增益 名称 公式 解释 信息量 h(x)=log21P(x)=−log2P(x)h(x) = log_2 {\frac{1}{P(x)}} = - log_2 { P(x)}h(x)=log2​P(x)1​=−log2​P(x) x：一个事件P(x)：事件 x 发...
KL divergence（KL 散度）详解
蓝羽飞鸟的博客
03-03 1532
KL散度说明
散度
infinita_LV的博客
03-28 1261
摘自：一文搞懂散度 用一个分布Q去逼近一个目标分布P，希望找到一个目标函数D(Q,P)，计算Q到P的距离。这一个目标函数，正是Divergence(散度)。通过散度的计算就能不断地优化Q，寻找一个最优的参数去逼近真实的分布P。注意，散度跟距离不一样，他没有距离的对称性d(x,y)=d(y,x)，或是三角不等式d(x,y)≤d(x,z)+d(z,y) 的要求。 KL散度，KL(P∥Q)可以理解...
KL散度、JS散度以及交叉熵对比
敲代码的quant的博客
06-07 3万+
在看论文《Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。 KL散度、JS散度和交叉熵 三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。 对于概率分布P(x)和Q(x) 1）KL散度（K...
KL散度详解
Eli_Code
04-07 3万+
1、KL散度的概念 2、两类KL散度拟合效果的定性分析 3、两类KL散度拟合效果的数学推导 4、KL散度的计算 5、KL散度 Python 实现 6、References
机器学习：KL散度详解
热门推荐
Poyunji的博客
03-27 4万+
KL散度；Jensen不等式；凸函数
KL散度(相对熵)为什么是非负的?请证明
09-18
### 回答1： KL散度（相对熵）是非负的，因为它衡量了两个概率分布之间的差异，而相对熵值永远不会小于0。公式为：KL(P||Q) = ∑P(X)log(P(X)/Q(X))，因此，KL散度是非负的，因为P(X)/Q(X)大于等于1，而log(P(X)/Q(X))永远不会小于0。 ### 回答2： KL散度（Kullback-Leibler divergence），也叫作相对熵（relative entropy），是一种用于衡量两个概率分布之间差异的度量方法。KL散度的非负性可以通过以下证明来说明： 假设我们有两个离散概率分布P和Q，其概率质量函数分别为p(x)和q(x)，其中x表示随机变量的取值。KL散度定义为： KL(P || Q) = Σp(x)log(p(x)/q(x)) 为了证明KL散度的非负性，我们先证明一个引理：当且仅当p(x) = q(x)时，p(x)log(p(x)/q(x)) = 0。 当p(x) = q(x)时，p(x)/q(x) = 1，log(p(x)/q(x)) = 0，所以p(x)log(p(x)/q(x)) = 0。 反之，当p(x) ≠ q(x)时，由于p(x)和q(x)是概率分布，其取值范围在[0,1]之间。根据log函数的性质，log(p(x)/q(x))的取值范围是负无穷到正无穷之间。而p(x)是非零的，所以p(x)log(p(x)/q(x))的值是非零的。 根据上述引理，当p(x) = q(x)时，KL(P || Q) = 0，当p(x) ≠ q(x)时，KL(P || Q) > 0。 对于连续概率分布，KL散度的定义稍有不同，但证明方法是类似的。 综上所述，KL散度（相对熵）是非负的。其非负性保证了KL散度可以用作度量两个概率分布之间的差异。如果KL散度为0，则意味着两个概率分布是相同的；如果KL散度大于0，则表示两个概率分布之间存在差异。 ### 回答3： KL散度（相对熵）是衡量两个概率分布P和Q之间差异的一种度量方式。KL散度定义如下： KL(P || Q) = Σ P(x) log(P(x) / Q(x)) 其中，P(x)和Q(x)分别是概率分布P和Q在取值为x时的概率。 为了证明KL散度是非负的，我们需要利用凸函数性质以及Jensen不等式。 通过观察，我们可以发现当且仅当P(x) = Q(x)时，KL散度为0。这是因为当P(x) = Q(x)时，log(P(x) / Q(x)) = 0，所以KL散度的每一项和为0，整体也为0。 假设我们有两个概率分布P和Q，其中P(x) ≠ Q(x)。我们可以使用Jensen不等式来证明KL散度是非负的。 根据Jensen不等式，对于凸函数f(x)来说，有： f(Σ t_i * x_i) ≤ Σ t_i * f(x_i) 其中，t_i 是非负权重，且Σ t_i = 1。 我们将上式应用于凸函数f(x) = log(x)： log(Σ t_i * x_i) ≤ Σ t_i * log(x_i) 接下来，我们用P(X)作为t_i和Q(X)/P(X)作为x_i，带入上述不等式： log(Σ P(x) * Q(x) / P(x)) ≤ Σ P(x) * log(Q(x) / P(x)) 可以简化为： log(Σ Q(x)) ≤ Σ P(x) * log(Q(x) / P(x)) 这等价于： log(1) ≤ Σ P(x) * log(Q(x) / P(x)) 即： 0 ≤ Σ P(x) * log(Q(x) / P(x)) 由于KL散度是P(x) * log(Q(x) / P(x))的加权和，故KL散度是非负的。即证明了KL散度的非负性。 综上所述，KL散度是非负的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值