聊一聊计算机视觉中的KL散度

最新推荐文章于 2025-03-13 23:40:23 发布
最新推荐文章于 2025-03-13 23:40:23 发布
阅读量1.7k 收藏 29
点赞数 13
CC 4.0 BY-SA版权
分类专栏： 个人心得 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ECHOSON/article/details/142259393

聊一聊计算机视觉中的KL散度

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

KL散度的定义：

KL散度（Kullback-Leibler Divergence，库尔贝克-莱布勒散度）是一种用于衡量两个概率分布之间差异的非对称度量。给定两个概率分布 (P(x)) 和 (Q(x))，其中 (P(x)) 是真实分布，(Q(x)) 是近似分布，KL散度的定义为：
D K L ( P ∣ ∣ Q ) = ∑ x P ( x ) log ⁡ ( P ( x ) Q ( x ) ) D_{KL}(P || Q) = \sum_{x} P(x) \log\left(\frac{P(x)}{Q(x)}\right) DKL​(P∣∣Q)=x∑​P(x)log(

最低0.47元/天 解锁文章

200万优质内容无限畅学
KL散度
半夏微凉的博客
04-27 723
今天，我们介绍机器学习里非常常用的一个概念，KL 散度，这是一个用来衡量两个概率分布的相似性的一个度量指标。我们知道，现实世界里的任何观察都可以看成表示成信息和数据，一般来说，我们无法获取数据的总体，我们只能拿到数据的部分样本，根据数据的部分样本，我们会对数据的整体做一个近似的估计，而数据整体本身有一个真实的分布（我们可能永远无法知道），那么近似估计的概率分布和数据整体真实的概率分布的相似度，或者说差异程度，可以用 KL 散度来表示。 KL 散度，最早是从信息论里演化而来的，所以在介绍 KL 散度之前，我们
KL散度 (Kullback-Leibler Divergence)
最新发布
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
05-17 890
在AI和机器学习中，它不仅是理论分析的基础，也是许多算法设计（如变分自编码器VAE、策略优化RL算法如TRPO、PPO等）中的关键组成部分，用于度量信息损失、约束模型行为或指导模型学习。在RLHF中，它扮演了稳定器和安全阀的角色，确保在通过强化学习优化模型以符合人类偏好时，模型不会偏离其已学到的有用知识太远。KL散度，也称为相对熵 (Relative Entropy)，是信息论中一个核心概念，用于衡量两个概率分布之间的差异。，则KL散度为无穷大，意味着如果。的一部分（或者更准确地说，是。
浅谈KL散度
weixin_33774615的博客
10-26 725
一、第一种理解　　 　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是两个概率分布P和Q差别的非对称性的度量。       KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比...
KL散度(Kullback–Leibler divergence)
deye1979的专栏
05-24 316
KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。 转自：https://zhuanlan.zhihu.com/p/22464760 一维高斯分布的KL散度 多维高斯分布的KL散度： KL散度公式为： 转载于:https://www.cnblogs.com/huangshiyu13/p/6898212.html...
基于双高斯混合间KL散度的图像相似性度量
05-23
基于双高斯混合间KL散度的图像相似性度量
KL散度（KL divergence）
m0_37805255的博客
07-28 5604
KL散度（KL divergence） 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对称性的度量，用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典...
KL散度(Divergence)
芒果干的博客
10-02 1597
一、信息量 首先我们要懂信息量的概念，任何一个事件都会承载一个信息量。当一件事情发生的概率很高时，他承载的信息量就越少，例如“1+1=2”这个事情我们是已知的，所以当别人告诉我们这件事时我们不能获取任何信息，即信息量为0，但是”中国足球世界杯夺冠”这件事给我们的信息量是巨大的，我们将离散型随机变量XXX包含的信息量如下表示： 设XXX是一个离散型随机变量，概率分布P=p(X=xi)P=p(X=x_i)P=p(X=xi​)，则定义事件X=xiX=x_iX=xi​的信息量为：I(xi)=−log(p(xi))I
KL散度（Kullback-Leibler Divergence，KLD）
weixin_44012667的博客
03-13 3809
对于两个离散概率分布。
KL散度（信息熵）
blue_sky_wait_me
04-18 1695
对于离散型随机变量，信息熵公式如下： 对于连续型随机变量，信息熵公式如下： 注意，我们前面在说明的时候log ⁡ \loglog是以2为底的，但是一般情况下在神经网络中，默认以e ee为底，这样算出来的香农信息量虽然不是最小的可用于完整表示事件的比特数，但对于信息熵的含义来说是区别不大的。其实只要这个底数是大于1的，都能用来表达信息熵的大小。 本篇我们来看看机器学习中比较重要的一个概念—相对熵。相对熵，又被称为KL散度或信息散度，是两个概率分布间差异的非对称性度量 。在信息论中，相对熵等价于两
KL散度（Kullback-Leibler）
逐梦苍穹的博客
09-16 1436
KL散度（Kullback-Leibler）
KL散度（Kullback-Leibler散度）
hbkybkzw的博客
02-18 879
若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。正是因为其可以衡量两个分布之间的差异，所以在VAE、EM、GAN中均有使用到KL散度。在统计学意义上来说，KL散度可以用来。KL散度或相对熵可通过下式得出。
Attention 距离衡量 交并比 KL 散度
03-04
### Attention机制中的交并比与KL散度 #### 交并比（IoU） 在Attention机制中，交并比通常被用于评估目标检测或分割任务的效果。对于注意力图而言，交并比可以帮助量化预测的注意力区域与真实标签之间的重叠程度。 设 \( A \) 表示真实的关注区域，\( B \) 是由模型产生的注意力建议，则交并比如下定义： \[ \text{IoU}(A,B)=\frac{|A∩B|}{|A∪B|} \] 其中，分子表示两个集合共同覆盖的部分面积；分母则是两者联合所占总面积。此比例越接近于1表明匹配越好[^1]。 #### KL散度 相比之下，在涉及连续型数据分布的任务里，如图像特征提取过程中生成的概率热力图对比时，KL散度能更好地捕捉到细微差别。给定两个离散概率分布P(x) 和 Q(x)，其间的KL散度可表达为: \[D_{KL}(P||Q)=∑_x P(x)\log{\left(\frac {P(x)}{Q(x)}\right )}\] 当应用于Attention机制时，如果我们将输入序列的不同位置视为随机变量，并假设存在某种理想化的“黄金标准”注意力权重分配方案作为参考分布P，那么通过优化使得实际得到的关注强度模式尽可能贴近这一理论最优解的过程就可以看作是在最小化二者间KL散度的过程[^2]。 ```python import torch.nn.functional as F def kl_divergence_loss(output_distribution, target_distribution): output_log_softmax = F.log_softmax(output_distribution, dim=-1) target_softmax = F.softmax(target_distribution, dim=-1) return F.kl_div(output_log_softmax, target_softmax, reduction='batchmean') ``` 上述代码展示了如何利用PyTorch框架来计算两组向量形式下的软最大值转换后的KL散度损失函数，这有助于训练期间调整网络参数以获得更好的注意力效果[^3]。 #### 应用场景比较 - **交并比** 更适合处理边界清晰的对象定位问题； - **KL散度** 则适用于那些需要精确描述复杂结构内部细节变化情况的情形，特别是在自然语言理解和计算机视觉等领域内的高级语义分析任务上表现出色[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

肆十二

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值