「Deep Learning」Note on WGAN

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80154161

作者：Martin Arjovsky, Soumith Chintala, Léon Bottou
单位：Courant Institute of Mathematical Sciences；Facebook AI Research

读的是ICML版本[2]。

0 摘要

与传统GAN的训练相比，WGAN可以提升学习的稳定，避免mode collapse（模式坍塌），提供有意义的学习曲线即生成图像的效果跟损失有关，这有利于debugging和超参数搜索。

1 介绍

WGAN前传论文[2]从理论上得到定论：训练GAN是delicate和unstable。WGAN研究如何measure模型分布${\text{P}}_{\theta }$和真实数据分布${\text{P}}_r$的距离或散度$\rho (A,B)$。使得映射连续，意味着，参数序列收敛到$\theta$，分布也收敛到${\text{P}}_{\theta }$。上述收敛取决于模型分布和数据分布两者间的距离。距离越弱，收敛越容易。

论文贡献：1、分析the Earth Mover distance，EM距离；2、定义Wasserstein-GAN，即WGAN；3、实验验证WGAN如何治愈GAN的训练不稳定，使得不需要考虑判别器和生成器的平衡训练，不需要精心设计网络结构（DCGAN是精心设计的），减少mode dropping（模式丢掉）即模式坍圮，还有学习曲线具有指导意义。

2 不同距离

全变分距离：$\delta ({\text{P}}_r,{\text{P}}_g)={\sup }_{A\in \Sigma }|{\text{P}}_r(A)-{\text{P}}_g(A)|$
$\Sigma$ 表示 $\mathrm{X}$的所有Borel波莱尔子集的集合，$\mathrm{X}$表示紧凑测度集。

Kullback-Leibler散度：$KL({\text{P}}_r||{\text{P}}_g)=\int \text{log}(\frac{{\text{P}}_r}{{\text{P}}_g}){\text{P}}_{r}d\mu (x)$
${\text{P}}_r$和${\text{P}}_g$是定义在紧凑测度集$\mathrm{X}$上，对于测度$\mu$的准许（候选）概率密度即前后两次密度。KL散度是不对称的。

Jensen-Shannon散度：：$JS({\text{P}}_r,{\text{P}}_g)=KL({\text{P}}_r||{\text{P}}_m)+KL({\text{P}}_g||{\text{P}}_m)$
${\text{P}}_m$是混合概率密度，为(${\text{P}}_r$+${\text{P}}_g$)/2。JS散度是对称的，并且当$\mu ={\text{P}}_m$时，处处有定义。

Earth-Mover距离或Wasserstein-1：$W({\text{P}}_r,{\text{P}}_g)={\inf }_{\gamma \in \prod ({\text{P}}_r,{\text{P}}_g)}{\text{E}}_{(x,y)\sim \gamma }[||x-y||]$
$\prod ({\text{P}}_r,{\text{P}}_g)$是所有联合分布$\gamma (x,y)$的集合，边缘概率分布为${\text{P}}_r$和${\text{P}}_g$。
EM距离是最优传输的代价。

Example 1：学习平行线，这个例子说明在EM距离下，概率分布序列可以收敛，而在其他距离下，不可以收敛。

3 Wasserstein GAN

[1] Wasserstein GAN 2017 [paper]
[2] Wasserstein Generative Adversarial Networks ICML 2017 [paper]
[3] Towards Principled Methods for Training Generative Adversarial Networks ICLR 2017 [paper]