论文解读-SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

本文是上海交通大学张伟楠教授发表的一篇关于使用基于策略梯度的GAN来生成轨迹的文章，文章称作为一种训练产生式模型的新方法，产生式对抗性网络(GAN)利用判别模型指导产生式模型的训练，在生成实值数据方面取得了相当大的成功。然而，GAN在生成实值数据方面也存在不少的问题，例如1）产生式模型的离散输出使得从判别模型到产生式模型的梯度更新很难通过。2）判别模型只能评估完整的序列，而对于部分生成的序列，一旦整个序列生成后，平衡其当前分数和未来分数是非常困难的。

本文提出了一个序列生成框架SeqGAN来解决问题，将数据生成器建模为强化学习(RL)中的随机策略，SeqGAN通过直接执行梯度策略更新绕过了生成器差异化问题。RL奖励信号来自按完整序列判断的GAN鉴别器，并且使用蒙特卡罗搜索被传递回中间状态-动作步骤。

Introduction

古德费罗等人于2014年提出的生成对抗性网络(GAN)。在GAN中，判别网D学习区分给定数据实例是否真实，而生成网G通过生成高质量数据来学习混淆D。

不幸的是，应用GaN生成序列有两个问题。首先，GAN设计用于生成实值的、连续的数据，但在直接生成离散符号序列(如文本)方面存在困难。

本文将将序列生成过程视为顺序决策过程。产生式模型被视为强化学习(RL)的Agent；状态是到目前为止生成的令牌，动作是下一个要生成的令牌。为了给出奖励，我们使用一个鉴别器来评估序列，并反馈评估来指导生成模型的学习。

为了解决当输出是离散的情况下梯度不能返回生成模型的问题，我们将生成模型看作一个随机的参数化策略。在我们的政策梯度中，我们使用蒙特卡罗(MC)搜索来近似状态作用值。我们通过策略梯度直接训练策略(生成模型）。

Related Work

深度生成模型包括，DBN,DAE，VAE等。
所有这些产生式模型都是通过最大化训练数据似然(下限)来训练的，但是这存在逼近难以处理的概率计算的困难。

2014年提出了一种替代生成性模型的训练方法，即GAN，其中训练过程是生成性模型和歧视性模型之间的极小极大博弈。该框架绕过了最大似然学习的困难，并在自然图像生成方面取得了惊人的成功。但是GAN在生成连续数据方面效果不好，这是因为GAN中的生成器被设计为能够连续调整输出，这不适用于离散数据生成。

Bengio等人指出，训练和生成之间的差异使得最大似然估计不是最优的，并提出了预定抽样策略(SS)。后来(Husz‘ar 2015)理论上认为SS下的目标函数是不正确的，并从理论上解释了Gans倾向于生成看起来自然的样本的原因。因此，GAN算法对离散概率模型具有很大的潜力，但目前在实际应用中并不可行。

其实，有研究人员指出，序列数据的生成可以表示为一个序列决策过程，这可能可以通过强化学习技术来解决。将序列生成器建模为选择下一个token的策略，策略梯度方法可以用来优化生成器。

综上所述，我们提出的SeqGAN使用基于强化学习的生成器来扩展GANS，以解决序列生成问题，其中鉴别器在每集结束时通过蒙特卡洛方法提供奖励信号，生成器选择动作并使用估计的总体奖励来学习策略。

序列生成对抗网络

序列的生成问题描述如下，使用$G_{\theta }$生成序列Y1:T=(y1,...,yt,...yT)Y_{1:T}=(y_1,...,y_t,...y_{T})Y