CONSISTENCY REGULARIZATION FOR GENERATIVE ADVERSARIAL NETWORKS

CONSISTENCY REGULARIZATION FOR GENERATIVE ADVERSARIAL NETWORKS

众所周知，生成对抗网络(gan)很难训练，尽管有相当多的研究努力。已经提出了几种用于稳定训练的正则化技术，但是它们引入了大量的计算开销，并且与现有的技术(如光谱归一化)相互作用很差。在这项工作中，我们提出了一种简单有效的训练稳定器，基于一致性正则化的概念——半监督学习文献中流行的技术。

特别是，我们增强了传入GAN判别器的数据，并惩罚了判别器对这些增强的敏感性。我们进行了一系列的实验，证明一致性正则化在光谱归一化和各种GAN架构、损失函数和优化器设置下有效地工作。与CIFAR-10和CelebA上的其他正则化方法相比，我们的方法实现了无条件图像生成的最佳FID得分。

此外，我们的一致性正则化GAN (CR-GAN)在CIFAR-10上将条件生成的FID评分从14.73提高到11.67，在ImageNet-2012上从8.73提高到6.66。

1 INTRODUCTION

gan的一个主要问题是训练过程的不稳定性和结果对各种超参数的普遍敏感性(Salimans et al.， 2016)。由于GAN训练隐式地要求在连续的高维参数空间中找到非凸博弈的纳什均衡，因此它比标准的神经网络训练要复杂得多。

事实上，形式上描述GAN训练过程的收敛性基本上是一个开放问题(Odena, 2019)。之前的工作(Miyato et al.， 2018a;Odena等人，2017年)的研究表明，侧重于鉴别器的干预措施可以缓解稳定性问题。最成功的干预可分为两类， normalization and regularization。谱归一化是最有效的归一化方法，它将鉴别器中的权重矩阵除以其最大奇异值的近似。

对于正则化，Gulrajani等人(2017)惩罚了真实数据和生成数据之间的gradient norm of straight lines。Roth等人(2017)提出直接对训练数据和生成数据的平方梯度范数进行正则化。DRAGAN (Kodali et al.， 2017)引入了另一种形式的梯度惩罚，其中训练数据的高斯扰动梯度将受到惩罚。可以预见同时进行正规化和正规化可以提高样品质量。

Roth等人（2017）提出directly regularize the squared gradient norm for both the training data and the generated data。DRAGAN（Kodali等人，2017）引入了另一种形式的梯度惩罚，对训练数据的高斯扰动的梯度进行惩罚。