机器学习中的KL Divergence

最新推荐文章于 2024-03-03 22:28:01 发布
原创 最新推荐文章于 2024-03-03 22:28:01 发布 · 7.5k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了机器学习中的KL散度，解释了它作为衡量两个概率分布差异的指标，并讨论了其在监督学习和强化学习中的作用。文章详细介绍了KL散度的定义、性质，包括其非对称性和有限值范围。此外，还提到了前向KL和反向KL在优化问题中的应用，特别是在分布拟合时选择不同目标函数的影响。

原文出处：https://dibyaghosh.com/blog/probability/kldivergence.html

参考源：https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-explained

-----监督学习和强化学习这种方法的目标都是为了最小化KL差异

这篇文章将从增强学习和机器学习的整体角度讨论Kullback-Leibler Divergence：KL散度用来衡量两个概率分布之间的差异。

1.什么是KL  Divergence？

KL散度是一种概率分布与另一种概率分布的差异的度量。 在贝叶斯理论中，存在一些真实分布P（X），如果我们想估计一个近似分布Q（X）， 在这种情况下，使用KL散度测量从近似分布Q到真实分布P之间的差异。假设P,Q两种分布在同一空间中，那么从Q到P的KL散度可以表示为：D_K_L(P||Q)=E[logP(X)-logQ(X)]=\sum_{i=1}^{n}P(X)log\frac{P(X)}{Q(X)}，是一个期望值 。

最低0.47元/天 解锁文章
workerwu
关注
TensorFlow KLDivergence loss为负
Love-Coding
02-17 1548
把 kl_compute = tf.keras.losses.KLDivergence(reduction=losses_utils.ReductionV2.NONE, name='kullback_leibler_divergence') loss = tf.reduce_mean(kl_compute(labels, tf.nn.softmax(logits))) 改为 kl
机器学习-KL散度的直观理解+代码
m0_51474171的博客
12-12 1919
KL散度的含义
KL散度(Kullback-Leibler_divergence)
chenglinhust的专栏
01-15 9123
KL散度(Kullback-Leibler_divergence) 一. 概念 KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于这个字符集的熵：
KL散度（KL divergence）
m0_37805255的博客
07-28 6233
KL散度（KL divergence） 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对称性的度量，用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典...
KL散度损失函数
m0_53444618的博客
11-21 1万+
2021SC@SDUSC
KL-divergence
菜菜菜菜的博客
11-15 1万+
看论文1的时候遇到的，该论文首先得出了衡量两个概率分布之间的距离的公式，目标函数是使这两个概率之间的距离尽可能小，接下来需要最小化它们之间的KL-divergence。我看他用KL-divergence代替d( · , · )，一时不知为何，因此上网查了KL-divergence，胡乱总结2如下 KL-divergence又叫相对熵(relative entropy)，衡量两个概率分布之间的不...
浅谈KL散度
weixin_33774615的博客
10-26 822
一、第一种理解　　 　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是两个概率分布P和Q差别的非对称性的度量。       KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比...
【机器学习】熵与KL散度（Kullback-Leibler divergence）
aSmallFish的博客
10-14 931
1. 信息量 1.1 定义 信息量是对一个概率P(θ)中所包含的信息的量化。 1.2 解释 假设我们要判断一个人是好人还是坏人的概率。现在有两个概率P（好人）=0.8，（好人）=0.5。P1包含的信息量少，P2包含的信息量多。为什么后者信息量多呢？因为我们做出决策所需要的考虑会越多，换句话说就是信息量太多，我们不知道怎么做决策。而前者概率为0.8，判断一个人是好人还是坏人的所需要的额外信息量少，因此越接近1的概率信息量越少。 1.3 数学表达 1.3.1 符号说明 通常信息量表示为一个关于的.
KL散度(Divergence)
芒果干的博客
10-02 1717
一、信息量 首先我们要懂信息量的概念，任何一个事件都会承载一个信息量。当一件事情发生的概率很高时，他承载的信息量就越少，例如“1+1=2”这个事情我们是已知的，所以当别人告诉我们这件事时我们不能获取任何信息，即信息量为0，但是”中国足球世界杯夺冠”这件事给我们的信息量是巨大的，我们将离散型随机变量XXX包含的信息量如下表示： 设XXX是一个离散型随机变量，概率分布P=p(X=xi)P=p(X=x_i)P=p(X=xi​)，则定义事件X=xiX=x_iX=xi​的信息量为：I(xi)=−log(p(xi))I
KL Divergence ——衡量两个概率分布之间的差异
#仙女不扎马尾#的博客
04-23 9782
文章目录1 什么是KL Divergence（KL散度，也说是KL距离）2 一个简单的例子3 KL的性质4 KL散度的公式介绍5 Pytorch实现KL散度——F.kl_div()5.1 函数原型5.2 简单代码6 KL散度在R- Drop中的应用6.1 什么是Dropout?6.2 引入 R-drop6.3 在R-Drop的代码 1 什么是KL Divergence（KL散度，也说是KL距离） KL散度是一种概率分布和另一种概率分布的差异的距离。 公式如下： 2 一个简单的例子 3 KL的性质 具有
KL divergence
牧之-_-
03-29 932
真正的概率分布： A0 = 1/2，A1= 1/2 模型1：b1 = 1/4, b2 = 3/4 模型2:  c1 = 1/8, c2 = 7/8 哪一个模型更好的接近真正的概率分布？ D（A|| B）= 1/2log(1/2 / 1/4) + 1/2 log(1/2 / 3/4) D (A || C)  = 1/2 log(1/2 / 1/8) + 1/2 log(1/2 /
【机器学习】KL-divergence（KL散度）的理解
weixin_43693967的博客
10-21 1045
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。
KL Divergence
Klay Ye
04-28 714
参考文章：KL散度(Kullback-Leibler Divergence)介绍及详细公式推导 KL散度简介 KL散度的概念来源于概率论和信息论中。KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法...
【机器学习】Kullback-Leibler (KL) divergence（KL 散度）
潘小蓝的博客
05-29 1606
KL 散度是衡量两个概率分布之间差异的方法，我们首先考虑衡量两个概率分布之间差异的意义是什么
KL Divergence(KL 散度)
yzf0011的专栏
06-07 1540
KLDivergenceKL Divergence理解在数理统计(mathematicalstatisticsmathematical statistics)中， Kullback–LeiblerdivergenceKullback–Leibler divergence 使用来衡量一个概率分布和预期的概率分布偏离的程度。
KL divergence（KL 散度）详解
最新发布
蓝羽飞鸟的博客
03-03 1729
KL散度说明
关于KL距离（KL Divergence）
热门推荐
CS064的专栏
05-17 3万+
作者：覃含章链接：https://www.zhihu.com/question/29980971/answer/103807952来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。最早KL divergence就是从信息论里引入的，不过既然题主问的是ML中的应用，就不多做具体介绍。只是简单概述给定真实概率分布P和近似分布Q，KL divergence所表达的就是如果我们...
KL Divergence KL散度
知之可否
03-09 2万+
在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。 有人将KL散度称为KL距离，但事实
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值