f-GAN翻译

因为前两天要作小组汇报，怕讲不清，所以干脆细细翻译一遍，也是初学者，挂一漏万，大家指正。

生成式神经采样器是用前馈神经网络来实现采样的概率模型。它得到一个随机向量的输入，并从由网络权重定义的概率模型中输出一个样本。这些模型很有表现力，允许高效的样本和微分运算，但是不能用于计算似然或边缘化。生成式对抗训练方法可以通过运用一个起辅助作用的判别神经网络来训练生成模型。我们展示了生成对抗过程只是更普遍的变分散度估计过程的一个特例。我们展示了任何一种f散度都可以用来训练生成式神经采样器。我们讨论了多种可选的散度函数在训练复杂度和获得的生成模型质量上的优缺点。

Introduction

概率生成模型描述了一个在给定定义域X上的概率分布。例如，在自然语言段落，自然图像，或记录波形上的分布。

在一族概率模型Q~中给出一个生成式模型Q，我们一般对执行以下一个或几个步骤比较有兴趣。

采样：从Q中产出一个样本，通过检查样本或计算在一些样本上的函数，我们可以得到对该分布重要的洞察力或者解决分布问题。

估计：给定一个未知参数的真实分布P中独立同分布的样本集{x1,x2…xn}，在Q~中找到一个可以最好描述真实分布的Q。

逐点似然估计：给定一个样本x，估计Q(x)的可能性。

文献[10]中提出的GAN是一类可以精密采样和适当估计的有表现力的生成模型。GAN中用到的模型只是一个前馈神经网络。这个神经网络接收采样到的随机数字向量作为输入，例如说从均匀分布采样。这个随机输入在网络中穿过每一层，最后一层产出了需要的输出，例如说一张图片。显然的，从GAN模型中采样是很有效的，因为产出一个确切的样本只需要前传网络一次。

这样的概率前传神经网络模型第一次在[22]和[3]中被提出，我们把这些模型叫做生成式神经采样器。GAN也是这一类的，虽然它有着一个VAE的解码器模型。

在GAN的原始论文里，作者展示了用适当的最小化对称的JS散度来估计神经采样器的可能性。

公式(1)

在这里，DKL表示KL散度。GAN训练中用到的关键技术是引入了第二个神经网络——“判别器”，来和生成采样器同时优化。因为JS散度是一个合适的衡量分布距离的散度，所以，只要有足够的训练样本，模型族Q~又足够用来表示P，真实分布P就可以被很恰当的表示。

在这次的工作中，我们展示了GAN的原理可以更普遍。我们可以扩展Nguyen提出的变分散度估计框架[25]来重新获得GAN的训练目标并将其扩展到任意f-散度

更具体的来说，我们在当前技术水平下做出了如下贡献：

我们对所有f散度都派生出了GAN的训练目标函数，同时提供了附加的散度函数作为例子，包括KL散度和Pearson卡方分布。

我们简化了 Good fellow 的鞍点优化过程并提供理论证明。

我们通过实验观察，提出最适合估计生成自然图片的神经采样器的散度函数。

Method

我们首先回顾了 Nguyen 基于f-散度的散度估计框架。接着把这个框架从分布估计扩展到了模型估计。

2.1 f-散度函数族

统计学领域里的散度，