读个论文（二）—— Generative Adversarial Nets

好久不见，哎呀春节到来之际，我们再来读篇论文。这次我们读一篇比较经典的论文，也是提出GANs（生成式对抗网络）的论文。

该文章来自2014年发表的论文，作者为Goodfellow等人。APA引用如下：
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., … & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27.

Abstract

文章提出了一种通过生成模型G和判别模型D对抗生成模型的框架，最终G恢复训练数据分布，D在任何地方都等于二分之一。

Introduction

深度学习主要是对数据分布特征的表示。深度学习之前的成功主要依赖于反向传播、dropout以及具有良好梯度的线性单元，但在深度生成模型中进行近似最大化似然函数估计时会出现很多棘手的概率计算。因此作者提出了一个对抗性网络框架，原文的表述是这样的：一个判别模型，学习确定样本是来自模型分布还是数据分布。生成模型可以被认为类似于一个伪造者团队，试图生产假币并在不被检测的情况下使用它，而判别模型类似于警察，试图检测假币。这个游戏中的竞争促使两队改进他们的方法，直到假冒商品与正品无法区分。生成模型通过将随机噪声传递给多层感知器来生成样本的特殊情况，而判别模型也是多层感知器。因此可以通过非常成功的反向传播和dropout算法来训练这两个模型，并仅使用正向传播从生成模型中采样，不需要近似推理或马尔可夫链。

Related work

此前人们大多通过最大化对数似然来训练模型，最成功的是深玻尔兹曼机。但这类模型通常具有难以处理的似然函数，因此需要对似然梯度进行大量近似。这些困难促使了“生成机器”的发展——不需要表示可能性，但可以生成样本。
反向传播如下图公式：基于当噪声强度趋近于零时，对含噪声函数期望的梯度等于原函数的梯度。

在做GANs工作的同时，Kingma和Welling以及Rezende等人开发了更通用的随机反向传播规则，允许通过有限方差的高斯分布进行反向传播，并反向传播协方差参数和均值。这些反向传播规则可以让人们学习生成器的条件方差，作者在这项工作中将其视为超参数。Kingma和Welling以及Rezende等人使用随机方向传播开发了VAEs，与生成对抗神经网络不同，VAEs中的第二个网络是一个执行近似推理的识别模型。GAN需要通过可见单元进行微分，因此无法对离散数据进行建模，而VAE需要通过隐藏单元进行微分。其他VAE-like方法也存在，但与GANs的关系