Wasserstein GANs 三部曲(二):Wasserstein GAN论文的理解

本文深入探讨Wasserstein GAN(WGAN),解释为何KL散度在某些情况不适用,并介绍Wasserstein距离对分布收敛的影响。论文比较了不同距离定义,提出Wasserstein距离在优化稳定性和样本质量上的优势。实验结果显示,WGAN能有效提高生成模型的收敛性和样本质量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

附论文地址:https://arxiv.org/abs/1701.07875

这一篇文章和下一篇讲提高WGAN的更有实际应用意义一些吧。转载请注明。

基础介绍

        学习一个概率分布,通常我们是学习这个分布的概率密度函数,假设概率密度函数存在,且由多个参数组成即,已知该分布下点集为,那么认为这些点既然出现了,就是概率最大的(相当于极大似然的思想)。问题就变成了求解使得。假设真实分布为,可以使用KL散度作为是否接近的标准。

        在现实生活中我们处理的分布的支撑集都是低维的,也就是说两个分布的重叠部分测度为0,可以忽略不计,那么KL散度就没有办法衡量了。

        一般的纠正办法是给模型的分布加一个有很大带宽的高斯分布,使得模型的分布覆盖所有的样本。但是,在最近的论文中提到在的时候,噪声的最佳标准方差为0.1,又图像的每一个像素值介于0到1之间,致使噪声太大,同时也降低了图像的质量,并且使用这种模型的论文中也没有用这个,所以做法不可取。

        相比估计的概率密度函数,且这个密度函数还不一定存在,可以使用另一种方法:,其中Z是一随机变量,概率密度函数为,通过改变使得分布接近于真实分布(生成器的过程)。

        在本篇论文中致力于研究测量两种分布之间距离的不同的方法,这些距离最重要的不同是对概率分布收敛的影响程度

        分布收敛的定义:记距离或者散度为,分布序列收敛当且仅当存在一分布使得趋向于0.

        连续的定义:如果参数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值