有关于解决GAN中模型崩塌的一点方法

GAN好是好，但是这个模型崩塌我是真的头大，好好的一个模型跑着跑着就变全噪声了。
最近在论文的阅读当中，发现了一篇文章《Progressive growth of glycine to improve quality, stability, and variability》是有关于如何改善辨别器中对于生成器的生成的一些无用信息的剔除。同时可以提高生成图像的分辨率以及增强图片中的纹理和细节。

一、摘要

关键的想法是逐步增加发生器和鉴别器：从低分辨率开始，我们添加新的层，随着训练的进展模拟越来越多的细节。这既加快了训练速度又大大稳定了它，使我们能够制作出前所未有的质量图像。

二、对于之前同类方法的一点总结

• 自回归模型 - 例如PixelCNN - 产生清晰的图像，但评估速度慢，并且没有潜在的表示，因为它们直接模拟条件分布而非像素，可能限制它们的适用性。

• VAE易于训练，但由于模型的限制，往往会产生模糊的结果。

• GAN产生清晰的图像，虽然只是在相当小的分辨率和变化有限的情况下，尽管最近取得了进展，但训练仍然不稳定。

GAN的缺陷
通常，GAN由两个网络组成：生成器和鉴别器（又称批评者）。发生器从潜码产生样本，例如图像，并且这些图像的分布理想地应该与训练分布无法区分。由于设计一个能够判断是否是这种情况的函数通常是不可行的，因此训练一个鉴别器网络来进行评估，并且由于网络是可微分的，我们还可以使用梯度来将两个网络引导到正确的方向。通常，发生器是主要关注点，鉴别器是自适应损耗函数，一旦发生器被训练就会被丢弃。

本文主要采用了WGAN中的Wasserstein损失，对此进行了改进。

三、主要工作

• 从低分辨率图像开始，然后通过向网络添加图层逐步提高分辨率，如图1所示。这种增量性质允许训练首先发现图像分布的大规模结构，然后将注意力转移到越来越细的尺度细节，而不是