论文解析八： GAN：Generative Adversarial Nets（生成对抗网络）

1.GAN：Generative Adversarial Nets（生成对抗网络）

1、标题 + 作者

机器学习中有两大类

• 分辨模型：判断数据的类别或者预测实数值，一般我们就是这个
• 生成模型（generative）：生成数据

adversarial：对抗

Nets：networks

2、摘要 Abstract

文章提出了一个新的framework（framework通常是一个比较大的模型）用来估计生成模型，通过对抗的过程，同时会训练两个模型

• **生成模型G：**用来抓取整个数据的分布（生成模型就是要对整个数据的分布进行建模，使得能够生成各种分布，这里的分布就是指的生成图片、文字或者电影等，在统计学中，整个世界是通过采样不同的分布来得到的，所以如果想要生成东西，就应该抓取整个数据的分布）
• **辨别模型D：**用来估计样本到底是从真正的数据生成出来的还是来自生成模型生成出来的。
• 生成模型尽量想让辨别模型犯错（生成模型一般是尽量使数据分布接近，但是这个地方有所不同，它是想让辨别模型犯错）

这个framework对应的是minmax two-player game（博弈论中一个很有名的两人对抗游戏）

在任何函数空间的 G 和 D 中存在一个独一无二的解（ G 能够将数据的真实分布找出来，如果已经把真实数据发掘出来的，辨别模型 D 就做不了什么事情了），如果 G 和 D 是MLP的话，那么整个系统就可以通过误差的反向传播来进行训练

不需要使用任何马尔科夫链或着说对一个近似的推理过程展开，相比其他方法更加简单，而且实验效果非常好

3、导言 Introduction

深度学习是用来发现一些丰富的有层次的模型，这些模型能够对AI中各种应用的各种数据做概率分布的表示

• 深度学习不仅仅是深度神经网络，更多的是对整个数据分布的特征表示，深度神经网络只是其中的一个手段

虽然深度学习在辨别模型上取得了很大进展，但是在生成模型上做的还是比较差（难点在于在最大化似然函数的时候要对概率分布进行很多近似，这个近似的计算比较困难）

深度学习在生成模型上进展不大，是因为要去近似概率分布分布来计算似然函数，这篇文章的关键是不用近似似然函数而可以用别的方法来得到一个计算上更好的模型

GAN的介绍

GAN本身是一个较大的框架，它并不限制生成器和判别器的具体结构。通常，生成器和判别器可以是任何类型的神经网络，包括卷积神经网络（CNN）、递归神经网络（RNN）等。但是最开始GAN这篇论文使用MLP来构建模型，这个框架中有两类模型

• **生成模型：**类似于造假的人，他的目的是去生产假币
• **辨别模型：**类似于警察，他的任务是将假币找出来，和真币区分开开来

造假者和警察会不断地学习，造假者会提升自己的造假技能，警察会提升自己判别真币和假币的性能，最终希望造假者能够赢得这场博弈，也就是说警察无法区分真币和假币，这时就能生成跟真实一样的数据了

但是这GAN这篇文章的框架下面的生成模型是一个MLP，它的输入是一个随机的噪音，MLP能够把产生随机噪音的分布（通常是一个高斯分布）映射到任何想要拟合的分布中。同理，如果判别模型也是MLP的情况下，在这个框架下的特例叫做adversarial nets，因为两个模型都是基于MLP，所以在训练的时候可以直接通过误差的反向传递而不需要像使用马尔科夫链类似的算法来对一个分布进行复杂的采样，从而具有计算上的优势

4、相关工作 Related work

视频中所读的版本是GAN在neurips上的最终版本，它是一个比较新的版本

在搜索的时候可能会搜索到arxiv版本，它是一个比较早期的版本，作者没有将最新的版本上传到arxiv上面

以上两个版本的主要区别就是相关工作是不不一样的

• arxiv版本上面相关工作的部分其实什么都没写，写的并不相关
• neurips的版本上写了很多真正相关的工作

第一段

首先阐述了其他方法所存在的问题：之前的方法是想要构造出一个分布函数出来，然后提供一些参数让他可以学习，通过最大化这些参数的对数似然函数来做这样的坏处是采样一个分布的时候计算比较困难（尤其是维度比较高的时候）

因为这些方法计算比较困难，所以开展了generative machines的相关工作，不再去构造这样一个分布出来，而是去学习一个模型去近似这个分布，这两种方法是有区别的

• 前一种方法明确知道分布是什么，包里面的均值、方差等
• 后一种方法不用去构造分布，只需要一个模型去近似想要的结果就可以了，缺点是不知道最后具体的分布是什么样的，好处是计算起来比较容易

• 上式中对 f 的期望求导等价于对 f 自身求导，这也是为什么可以通过误差的反向传递对GAN进行求解

(下面是一些不重要的)

VAEs跟GAN非常类似

通过一个辨别模型来帮助生成模