GAN 改进系列

原始GAN问题

① 判别器越好，生成器梯度消失越严重 ② 判别器越好的情况下，生成的模型多样性不够 ③ 训练困难，生成器和判别器的loss无法指示训练进程。

改进 -- WGAN系列

  1）WGAN 就是在 GAN 的基础上改进的比较成功的一种。WGAN 利用 Wasserstein 距离代替 JS 距离，从而避免了一定的梯度消失问题，这也为很多 GAN 模型的扩展提供了指导。

  2）WGAN-GP 是在 WGAN 的基础上改进的，WGAN 在保证 Lipschitz 限制条件时，作者是采用将限制判别器神经网络的所有参数（这里指权重 w）不超过某个范围 [-c,c]。这样做带来了参数上的两极化，为了改进 WGAN，WGAN-GP 提出了梯度惩罚概念用于满足 Lipschitz 限制条件。

  3）Curriculum GANs 其是在 WGAN-GP 的基础上改进的，但是思路是沿袭 WGAN 所以也称之为 WGAN-C。

（1）WGAN

Wassertein距离

  Wassertein 指的是Wassertein距离(也称Earth-Mover（EM）距离)，WGAN就是用Wasserstein距离代替JS散度。
  Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离。
  定义：是和分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布，可以从中采样得到一个样本和，并计算出这对样本的距离，所以可以计