GAN模型的挑战及训练效果提升方法

生成对抗网络（GAN）及其变种已经成为最近十年以来机器学习领域最为重要的思想。--2018图灵奖得主 Yann LeCun

 

1、GAN模型的挑战

1.1启动及初始化问题

GAN的训练过程可以看做是一个生成网络和鉴别网络相互博弈的过程，最终达到一个如果对方不改变就无法进一步达到提升的状态。同时梯度下降法的启动会选择一个减小所定义的损失的方向，这个方向不一定最终使得GAN达到纳什均衡的状态，这是一个高维度的非凸优化目标。网络试图在接下来的步骤中最小化非凸优化目标，这最终有可能进入振荡。而且理想情况下，我们希望两个网络可以以相同的速率进行改善，但实际上两个网络的学习效率是不一样的，通常做法是故意停止某个网络的学习过程或降低学习率，使得另一个网络可以跟得上。

1.2模型坍塌

模型坍塌是指生成器坍塌到了一个极狭小的分布内，生成的样本不在变化。通俗来说就是生成器在某种情况下重复生成完全一致的图像。这就与博弈论中的启动相关了。如果在生成器最小化之前，判别器已经完全最大化（这里的最小化和最大化是指生成网络和鉴别网络是同一个损失函数，但是他们的目标不同，生成网络需要最小化损失函数，鉴别网络需要最大化损失函数），这样所有工作还能进行；但是如果先最小化了生成器，接下来再尝试最大化鉴别器，这样网络是训练不成功的。原因在于若刚开始变保持鉴别器落后于生成器，鉴别器会错误的将空间中某些点标记为最有可能是真的而不是 假的，这样生成器就会选择将所有噪声输入映射到最可能为真的点。

1.3模型计数、角度、全局结构等方面问题

模型计数上，GAN在某些情况下有太多的视角，从而错误的判断物体在特定位置应该出现的数量，比如在动物头上生成多只眼睛。

角度方面，GAN通常不能很好地区分图像是从前面观测的结果还是从后面观测的结果。

全局结构方面，GAN无法理解全局方面的结构。

1.4评估收敛指标

现在没有一个很好地指标可以告诉我们生成器的