GAN ZOO 第2节： 对原始GAN的损失函数进行改进：LSGAN、WGAN、WGAN-GP

“GAN ZOO”系列文章说明

    GAN成为当下研究热点，相关论文数量正在以指数趋势增长，如上图所示。

    为了便于大家迅速追踪研究热点，“AI微刊”团队持续推出“GAN ZOO”系列文章，精选典型GAN模型，对其进行精简的解析，让你“三分钟”读一篇论文。

 

GAN ZOO 第2节：

对原始GAN的损失函数进行改进：LSGAN、WGAN、WGAN-GP

PS：本文知识点高度密集，建议码起来，电脑端阅读。

本文是“GAN ZOO”系列第2节，将为您：

• 分析原始GAN损失函数带来梯度消失、模式崩溃等问题的原因；
• 介绍经典改进模型模型：LSGAN、WGAN、WGAN-GP。

 

---

4. 最小二乘GAN（LSGAN）：LSGAN用最小二乘损失函数替换交叉熵损失函数，加大对离群样本的惩罚

本论文首次发表于2016.11.13

 

4.1 原始GAN的缺陷

    原始GAN使用Sigmoid交叉熵损失函数，容易造成梯度消失问题，使得生成器G的训练不充分。

    具体阐述为：

    原始GAN的损失函数为Sigmoid交叉熵：

    如下图，蓝线是判别器D的真假样本决策边界，蓝线右下方的样本判为真，左上方判为假。由于判别器被欺骗，因此将一部分真样本（黄色圆圈o）判为假，将一部分假样本（蓝色十字+）判为真。

    对于被判为“真”，但是又远离真实样本分布的假样本（图中粉色五角星☆虽然被判为真，但是离黄色圆圈o较远），这些样本被判别器D打上了“真”的标签，即D(G(z))=1，因此在损失函数中表现为生成器G的损失函数值为0，如下所示：