GAN的理论基础之KL散度与JS散度

最新推荐文章于 2025-04-03 20:20:31 发布
最新推荐文章于 2025-04-03 20:20:31 发布
阅读量4.9k 收藏 14
点赞数 3
分类专栏： 深度学习 文章标签： KL散度 信息熵  JS散度   交叉熵  GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuanfang_hai/article/details/86604807
版权
本文介绍了信息熵、交叉熵的基础，并详细探讨了在生成对抗网络（GAN）中重要的KL散度和JS散度。KL散度衡量了概率分布q对p的拟合程度，而JS散度解决了KL散度不对称的问题，用于比较不同分布的差异。在GANs中，这些概念用于评估生成器对真实数据分布的匹配程度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。

香农信息量、信息熵

香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小

                                                                          

当对数的底数为2时，香农信息量的单位为比特

香农信息量描述的是随机变量在某一点处的信息量，而衡量随机变量在整个样本空间的信息量，就需要用随机变量X的信息熵，可以将信息熵理解为是香农信息量的数学期望，即P(x)加权求和，因此可以将信息熵理解为消除随机变量不确定性所需的总体信息量的大小，熵越大，随机变量的不确定性就越大，数学定义如下：

                                                  

交叉熵

假设用q(x)来拟合p(x)的概率分布，交叉熵用来描述p和q的相似性，表示在给定的真实分布下，使用非真实分布用来消除系统不确定性所需付出的努力的大

最低0.47元/天 解锁文章
GAN学习笔记——KL散度、交叉熵、JS散度
程序媛的自学笔记
04-12 3338
首先，我们知道， 熵 是用来量化数据中含有的信息量的，其计算公式为： H=−∑i=1Np(xi)⋅log⁡p(xi)H=-\sum_{i=1}^{N}p(x_{i})\cdot \log p(x_{i})H=−i=1∑N​p(xi​)⋅logp(xi​) 1）KL散度（Kullback–Leibler divergence） 又称KL距离，相对熵，用来比较两个概率分布的接近程度。 假设 p(x)...
GAN学习笔记-KL散度(Kullback-Leibler Divergence)、JS散度(Jensen–Shannon divergence)、Wasserstein Distance
ssshyeong的博客
06-07 2519
本篇文章主要介绍了KL散度(Kullback-Leibler Divergence)、JS散度(Jensen–Shannon divergence)、Wasserstein Distance
一文让你理解KL散度
weixin_52959592的博客
04-03 688
KL散度（Kullback-Leibler Divergence），又称为相对熵，是信息理论中的一个重要概念，用来测量两个概率分布之间的差异。KL散度越大代表两个概率分布的差异越大，只有当两个概率分布相同时，KL散度最小，此时为0。它不仅适用于信息论，并且在统计和机器学习中也至关重要。
KL散度的理解（GAN网络的优化）
aicuo0859的博客
07-10 1047
原文地址Count Bayesie 这篇文章是博客Count Bayesie上的文章Kullback-Leibler Divergence Explained 的学习笔记，原文对 KL散度 的概念诠释得非常清晰易懂，建议阅读 相对熵，又称KL散度( Kullback–Leibler divergence)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，...
生成对抗网络（GANs）系列：KL散度和JS散度
nbxzkok的专栏
09-29 8360
1.香农信息量、信息熵和交叉熵 只考虑连续型随机变量的情况。设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为： 其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量（比如要不要多观察几场球赛的表现）就可以消除不确定性...
GAN的理论浅析（极大似然概率和KL散度）
weixin_39588448的博客
02-23 1046
GAN有两大部分组成，一个是Generator，一个是Discriminator组成，Generator用于生成数据，Disrciminator用于鉴别生成数据的好坏。 我们希望GAN找到一个数据集的真实概率分布 那么什么是数据集的真实概率分布，好比兔子生活在树林里，当兔子只有一只的时候，它可能在树林的任何一个地方生活，当这只兔子繁衍足够多的兔子时候，这一个兔子家庭会倾向与在森林的一个固定...
信息熵，KL散度，JS散度与Wasserstein距离----GAN到WGAN的进化之路
qq_45809323的博客
07-16 1651
因为生成器的初始参数是随机初始化的，所以它什么都没有学习到，输入一系列采样得到的向量给它，它的输出都是些随机、混乱的图片，然后我们根据真实的数据送入判别器与生成的数据做对比，我们把真正的图片标 1，生成器产生出来的图片都标 0。网络框架如下图所示。其实到这里我们不难看出，判别器的训练目标是看到真实数据就给它比较高的分数，看到生成的数据就给它比较低的分数，我们可以把它当做是一个优化问题，具体来说，我们要训练一个判别器，其可以最大化一个目标函数，当然如果我们最小化它就可以称它为。生成的事物是真实的还是生成的；
GAN损失函数和JS散度的关系
Miclear的博客
07-11 1036
判别器是要给生成图像低分，给真是的图像高分，带入到上面式子中，第一项中f给生成的图像低分，会让第一项更小，第二项中f给真实图像打高分，这也让第二项更小。在GAN的优化过程中，判别器的优化目标可以被理解为在最小化JS 散度的过程中，使得判别器能够有效地区分真实数据分布 ( P_data ) 和生成数据分布 ( P_G )，从而推动生成器生成更真实的数据样本。这里也是加了负号的，上面说到，要把判别器损失函数最大化，加了负号后，就是最小化问题了，这是符合对损失函数的理解的。zj：正态分布中随机生成的数据。
GAN和VAEs关于KL散度的比较
weixin_43698821的博客
12-01 1293
Gan的优化目标是达到纳什均衡（为了使损失函数达到最优，生成器与判别器均不会单独改变而是互相对抗），从而尽可能准确的恢复P(data), variational autoEncoder方法通常能够获得很好的似然，但生成低质量的样本。GAN能生成更好的样本，但跟FVBNs,VAEs比起来,更难优化。 GAN能生成更真实的样本是因为GAN最小化Jensen-Shannon divergence， 而...
GAN里面的KL散度和极大似然关系
Xunuo1995的博客
09-16 390
希望找到一个数据集的真实概率分布 现在，并不知道这个分布P_{data}(x)的数学式子是什么样的，但是可以从这个分布中采样，当收集到一组高质量的图片作为数据集的时候就是从这个真实的分布中采样。其实也就是极大似然估计啊~ 于是现在有了一笔从P_{data}(x)中采样的数据 然后，希望通过神经网络生成一个概率分布 Pdata(x; theta），theta就是参数，有可能是任何一种分布，使得这个概率分布和真实的概率分布Pdata(x）越接近越好，具体该怎么做呢？具体做法就是求概率分布 Pdata(x;
GAN中的散度和距离
m0_37531129的博客
05-19 1267
KL散度（相对熵） 可以用来衡量两个概率分布之间的差异，又称为相对熵，和信息熵。 概率分布P1和P2的KL散度： KL(P1∣∣P2)=Ex p1log(p1p2)=∫xp1(x)log(p1(x)p2(x))dxKL(P1||P2) = E_{x~p1} log( \frac{p1}{p2}) = \int_x p1(x) log(\frac{p1(x)}{p2(x)})dxKL(P1∣∣P2)=Ex p1​log(p2p1​)=∫x​p1(x)log(p2(x)p1(x)​)dx 缺
标准GAN的公式推导
12-10
里面包含了对抗生成网络的提出，推导和部分实验，从数学理论的角度出发从KL散度到JS散度再到目标网络的公式推导。
【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度
无极阁
05-18 5369
生成式对抗网络的目标是生成高质量且多样性的样本，而一般的loss对其衡量能力有限，也无法像分类问题这种监督学习一样通过准确率等指标衡量。因此需要一些特定的方式对其进行衡量，本文主要介绍场景的几种衡量方式，即IS、FID与JS散度，能够从不同角度对GAN的效果进行衡量。
KL散度（Kullback-Leibler divergence）、交叉熵（cross entropy）以及GAN（Generative Adversarial Network）损失之间的关系
u013600306的博客
09-02 1188
假设P是真实分布，Q是预测分布。
在GAN中使用JS散度评估的问题
Forlogenの解忧杂货铺
03-31 2573
在Martin Arjovsky, Léon Bottou, Towards Principled Methods for Training Generative Adversarial Networks, 2017, arXiv preprint这篇论文中，作者发现在选择不同的epoch时，随着迭代次数的增加，它们的交叉熵都会减小到一个很低的值，同时准确度也都会到达1.0 但是通过JS散度来直...
GAN网络：JS散度与Wasserstein距离
冷月无声的博客
04-01 2715
目录 1 生成模型与判别模型的区别 2 各种距离&散度的度量 2.1 香农熵 2.2 信息熵 2.3 交叉熵 2.4 KL散度（相对熵） 2.5 JS散度 2.6 Wasserstein距离 1 生成模型与判别模型的区别 生成模型：对数据的联合分布建模，从统计角度表示数据分布与数据生成方式，收敛速度快 常见生成模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯...
KL散度及Python实现
热门推荐
RUC_Lee的博客
12-09 1万+
KL散度及Python实现1 KL散度1.1 定义1.2 公式1.3 几个结论1.4 应用1.4.1 应用1：机器学习领域1.4.2 应用2：用户画像2 Python实现求解2.1 生成分布2.2 计算方法12.3 计算方法23 参考 1 KL散度 在很多场合，经常会遇到KL散度这个概念，那么它到底是什么含义呢？如何定义的？又有哪些应用场景？最后如何用Python进行计算呢？ 1.1 定义 KL散度（Kullback-Leibler divergence，简称KLD）: 在信息系统中称为相对熵（relat
GAN（对抗生成网络）原理及数学推导
QIzikk的博客
02-23 4362
本文主要涉及GAN网络的直观理解和其背后的数学原理。 参考课程： 计算机视觉与深度学习 北京邮电大学 鲁鹏 概述 在所有生成模型中，GAN属于 “密度函数未知，直接硬train” 的那一类，和密度函数可定义的PixelRNN/CNN以及变分自编码器VAE有本质区别。 假设现在我们想做人脸的生成任务。我们希望能找到人脸图像的真实分布，这样直接在这个分布上随便取点，得到的都是人脸的图像。但是分布非常复杂，且无法知道。 所以，我们考虑用一个简单的分布和一个映射，将这个简单的分布映射到真实的分布。我们使用神经网
为什么在GAN中使用KL散度会出现模式坍缩的问题？
Forlogenの解忧杂货铺
04-27 3402
李宏毅老师GAN的课程中曾经对于这个问题有一个直观的解释，大体上可以参考以下的简单理解 https://blog.youkuaiyun.com/Forlogen/article/details/88921247 那么具体在数学上如何理解这个问题的产生呢？在Goodfellow提出的GAN的原始论文中指出，当生成器和判别器的能力足够强的时候，一定可以收敛到纳什均衡点，此时得到的最优的判别器D∗D^*D∗为 ...
交叉熵和kl散度
最新发布
04-11
好的，我现在需要回答用户关于交叉熵和KL散度的区别及联系的问题。...- **生成对抗网络（GAN）**：生成器通过减小生成数据分布与真实分布的KL散度来提升逼真度（实际中常用JS散度或Wasserstein距离）[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值