[解读] The relativistic discriminator: a key element missing from standard GAN

最新推荐文章于 2022-10-15 13:42:05 发布

原创

最新推荐文章于 2022-10-15 13:42:05 发布 · 5.1k 阅读

25 ·

CC 4.0 BY-SA版权

本文提出了一种新的GAN（生成对抗网络）变体——相对GAN，旨在解决传统GAN中存在的问题，如梯度消失和模型崩溃。通过引入相对鉴别器，该方法不仅提高了生成样本的真实性，还降低了真实样本的预测概率，从而实现了更均衡的训练过程。实验结果显示，相对GAN在多个基准数据集上表现出更好的稳定性和生成质量。

在标准的 GAN 中, 鉴别器用来估计输入样本为真实样本的概率, 生成器用来生成逼真的样本, 来提高被鉴别器鉴别为真实样本的概率. 然而本文提出生成器应该同时降低真实样本的真实性的概率.

首先因为这符合一个先验知识, 即在一个批次中有一半数据是真实的, 并且可以用散度最小化来验证这个设想, 在最佳设置中, 标准的 GAN 等效于积分概率度量 (IPM) 的 GAN.

作者表明相对鉴别器 (relativistic discriminator) 能够产生这样的效果, 即用来估计真实样本比虚假样本更真实的概率.

论文链接: https://arxiv.org/abs/1807.00734v3

本文改进

设鉴别器为 $D (x)$ , 本文的核心观点是, 当虚假样本 $x_f$ 的预测概率值 $D(x_f)$ 升高的时候 (即生成器生成的样本变得愈加逼真), 真实样本 $x_r$ 的预测概率值 $D(x_r)$ 应该降低.

作者在文中给出了三种论证方法. 首先从先验知识的角度来说, 在每一轮迭代中, 从期望的角度考虑, 鉴别器需要鉴别的样本有一半的样本是真实的, 另一半是生成的, 这就意味着随着训练的进行, 对于一个样本的真实性鉴别概率应当等于 0.5. 然而在标准的 GAN 和其它非 IPM 的模型没有利用这一先验知识, 否则的话鉴别器有可能将所有训练样本视为真实的, 即概率值等于 1.

第二种论证角度从散度最小化出发. 从 GAN [Goodfellow et al., 2014] 中我们知道, 训练GAN的过程等价于最小化以下 JS 散度:
$D(\mathbb{P} \| \mathbb{Q})=\frac{1}{2}\left(\log (4)+\max _{D: X \rightarrow[0,1]} \mathbb{E}_{x_{r} \sim \mathbb{P}}\left[\log \left(D\left(x_{r}\right)\right)\right]+\mathbb{E}_{x_{f} \sim \mathbb{Q}}\left[\log \left(1-D\left(x_{f}\right)\right)\right]\right).$
生成器的训练过程即是最小化散度的过程, 当 $D\left(x_{r}\right)=D\left(x_{f}\right)=\frac{1}{2}$