《GANs实战》学习笔记（五）第五章 训练与普遍挑战：为成功而GAN

第五章：训练与普遍挑战：为成功而GAN

GAN在所有生成模式中的位置。

上图中两个关键要点：

（1）所有这些生成模型最终都源自最大似然（Maximum likelihood）

（2）变分自编码器VAE位于显示部分。

从图中可以看出，技术发展，正在从显示和易驾驭的方法转向隐式的方法。这样就会出现一个问题：如果没有显示的损失的函数，如何去评估GAN的效果？

一、评估

如何评估有一个生成方法是好是坏？如何量化生成的质量是好还是坏？

1、评估框架

书中拿仿造达·芬奇画作类比例子。

（1）首先解决方案：是拥有达芬奇用他的风格画出的所有可能的作品，然后看GAN生成图像是否在这个收藏集中。这个过程其实是一个最大化最大似然的非近似版本。意思是穷举，罗列所有。这不现实。

（2）次优解决方案：评估图像并指出对应要检查的地方，然后合计所有错误或伪造的画的数量（比例）。这样做的问题：始终需要人类评论家来审查作品。比如鉴别真假钞票时，需要检查的几个防伪标识。但因为需要鉴别专家，仍然不是一个可以大规模使用的。

（3）因此：要用一种统计方法来评估生成样本的质量，来扩大评估规模并可在实验中使用。如果没有一个易于计算的度量标准，也就无法监控进展。毕竟GAN对超参数非常敏感，因为GAN本身就难以训练又难以评估。

问题？为何不能直接使用已经了解的方法（如上文提到的：最大似然）作为指标呢？

答案：最大似然是统计的方法，可以度量一些模糊的期望，而且不管怎么样都能从中得到隐式的结果。

1、但是最大似然的使用，要对基础分布及其可能性进行正确的估计。（第二章中，我们讲过最大似然估计的缺陷：如果没有事先正确指定模型，估计偏差会非常大。而且很多数据分布会有比想象中更多的模式。最终要的是：有时候维度太高，无法估计。）

2、最大似然估计容易过度泛化，因此导致生成的样本由于太过多样化而显得不真实。（本质是约束条件不足，自由度太高。）。使用最大似然可能会生成现实世界中永远不会出现的样本。

所以需要使用损失函数和评估方法，来淘汰“过于泛化”的样本。

KL散度和JS散度也是基于最大似然的。

用于统计评估生成样本质量的两个最常用且公认的度量标准：Inception Score（IS）和Fréchet Inception Distance（FID）。

2、IS：Inception score

统计评估的要求：

（1）生成的样本要看起来像真实的可分辨的东西。不仅要看起来逼真，而且是数据集中的物品。分类器确信它看到的就是它识别成的物品，能够将图像分类为某个特定（目标类中）的类别。（分类器就是依据Inception网络命名的。）

（2）生成的样本是多种多样的，并且理想情况下应该包含原始数据集中表示的所有类别。否则就是类间模式崩溃（interclass mode collapse）。

计算IS的过程：

（1）采用真实分布和生成分布之间的Kullback-Leibler（KL）差异。

（2）对第1步的结果求指数。

3、FID：Fréchet Inception Distance

评估系统除了解决上面两个问题：逼真和全类别以外，还要解决的第三个问题：生成的样本缺乏多样性。通常，GAN只能学习到每个类别中的一小部分图像。Fréchet Inception Distance（FID）通过提高对噪声的鲁棒性并检测类内（interclass）样本遗漏来改进IS。

IS基准完成的是：能生成此类别的要求。

FID基准完成的是：生成样本的类内多样性。

但有时，我们希望GAN可以从