[论文笔记]Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis

1、文献概述

文章题目：《 Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis》
文章下载链接：链接
项目地址：源码

2、文献导读

首先先看看摘要部分，摘要的主要内容：

针对cGAN出现的模式崩溃（mode collapse）问题，文章提出一种简单而有效的正则化术语来解决此问题，其主要思想就是最大化了生成图像之间的距离相对于相应的潜在码（ latent codes）之间距离的比率。
所以不会额外增加训练开销和也不需要修改原来cGAN的网络结构。

3、文献详细介绍

本文主要贡献有三点，如下所示：

•We propose a simple yet effective mode seeking regularization method to address the mode collapse problem in cGANs. This regularization scheme can be readily extended into existing frameworks with marginal training overheads and modifications.（提出了mode seeking regularization方法来解决cGAN中的模式崩溃问题。 通过少量的训练计算和修改，很容易地将此方法扩展到现有框架中）
• We demonstrate the generalizability of the proposed regularization method on three different conditional generation tasks: categorical generation, image-to-image translation, and text to-image synthesis.（在三种不同的条件生成任务上证明了所提出的正则化方法的一般性：分类生成，图像到图像翻译以及文本到图像合成）
• Extensive experiments show that the proposed method can facilitate existing models from different tasks achieving better diversity without sacrificing visual quality of the generated images（可以在不牺牲生成图像视觉质量的前提下，促进不同任务的现有模型实现更好的多样性）

接下来看看作者是对其核心思想进行解释说明。

如上图，灰色曲线对应真实数据分布，共有5个峰，其中每一个峰对应于一个Mode。当网络发生mode collapse时，对应的输出分布为中间的蓝色曲线，可以看到此时只有两个峰了，即说明输出图像的多样性相比真实数据降低了。右边的绿色曲线则是文章提出的改进方法，此时可以看到曲线接近于真实数据分布，也有5个峰值，说明输出图像的多样性相比起原网络有所提高，表明提出的方法有效降低了code collapse 的影响。
最右边虚线框里的公式：
$$\frac{d}{d_z(z_a,z_b)}$$