GAN

《Generative Adversarial Nets》

学习生成对抗网络，第一件事就是看这篇神作《Generative Adversarial Nets》，下面对这篇论文做一个学习的总结，主要关注于文中介绍生成对抗网络的部分，其余内容详见论文，它对于我们理解生成对抗网络不会有太大的影响。

---

总览

---

看一篇论文最重要的自然是先看摘要部分，下面我们看一下它对本文的主要内容是如何介绍的。

在本文中作者提出了一种新的框架，通过对抗的过程来评估生成模型，在这个过程中同时训练以下两个模型:

• 生成器（generative model，G）：捕捉样本的分布规律
• 判别器（discriminative model ，D）：判断输入的样本事来自真实的训练数据还是生成器G

G 的训练过程是让D犯错的概率最大化，作者提出的这个新的框架相当于一个极小化极大的双方博弈游戏的过程。在任意的G和D的空间中存在唯一的解，使得G可以复现训练数据分布，并且D判断的概率处处都等于$\frac{1}{2}$，即使得D难以分辨数据是真实的还是G生成的。

当G和D都由多层感知机来定义时，我们就可以通过利用反向传播来进行训练。同时在训练和生成样本的过程中，相比于之前的相关算法，它不需要任何的马尔科夫链和近似的推理网络。

在$Introduction$和$Relatedwork$作者介绍了和本文内容相关的一些知识，包括之前广泛使用的其他的相关的算法，具体可见论文相应部分。

---

对抗网络

---

下面我们根据对抗网络的思想，从数学公式的推导上对其做一个理性的认识，来逐步的推出文中的这个公式$$\underset{G}{\min }\underset{D}{\max }V(G,D)=E_{x\sim p_{data}(x)}logD(x_i)+E_{x\sim p_z(z)}log(1-D(G(z_i)))$$

假设用$x_i$来表示真实的数据样本，$z_i$表示噪声数据，其中$i=1,2,\dots ,m$，$p_x(x)$表示真实数据分布的概率密度，$p_z(z)$表示噪声数据分布的概率密度，$G(z_i)$表示噪声通过生成器生成的数据，它和真实数据$x$形成了一种所谓的对抗关系。$$x_i\rightleftharpoons G(z_i)$$

$D(x)$表示判别器认为$x$为真假的概率，当判别器认为样本越真时，它的值就越接近于1，具体来说：

• $D(x)=1$:当判别器认为输入的样本是来自真实的数据分布
• $D(x)=0$：当判别器认为输入的样本是通过生成器产生的

对于生成器来说，它希望生成的样本让判别器认为是真实的，公式化就是最大化$D(z_i)$，即$\underset{D}{\max }(D(G(z_i)))$；而对于判别器来说，它希望的是尽可能分辨出由生成器产生的样本，同时不分错真实的样本，即$\underset{D}{\max }(D(x_i))$和$\underset{D}{\min }(D(G(z_i)))$。

其中$\underset{D}{\max }(D(G(z_i)))$和$\underset{D}{\min }(D(G(z_i)))$表示的就是生成器和判别器的对抗过程。为了后面公式的整合和推导，我们将$\underset{D}{\max }(D(G(z_i)))$和$\underset{D}{\min }(D(G(z_i)))$做一下等价的变换，将其转换成如下的形式：

• $G:$$\underset{D}{\min }log(1-D(G(z_i)))$
• $D:$$\underset{D}{\max }logD(x_i)$、$\underset{D}{\max }log(1-D(G(z_i)))$

其中使用$log(1-D(G(z_i)))$代替$D(G(z_i))$是为了保证$G$在学习的初期就有很大的梯度;而添加$log$是为了方便后面的求导过程。

接着我们将关于$D$、$G$的关系是合并得到：$$\underset{G}{\min }\underset{D}{\max }logD(x_i)+log(1-D(G(z_i)))$$

在学习的过程中作者使用了小批次的随机梯度下降法，故定义$m$为$mini-batch$的大小，下面我们将$mini-batch$中的所有数据相加再求平均，得到$$\underset{G}{\min }\underset{D}{\max }\frac{1}{m}\sum _{i=1}^{m}logD(x_i)+log(1-D(G(z_i)))$$

这样就求得了一个$mini-batch$的期望，也就得到了原文中的$V(G,D)$的式子$$\underset{G}{\min }\underset{D}{\max }V(G,D)=E_{x\sim p_{data}(x)}logD(x_i)+E_{x\sim p_z(z)}log(1-D(G(z_i)))$$

---

算法描述

---

下面是有关算法描述的伪代码

基本过程和上面分析公式推导的过程是一致的，其中需要注意几点：

• 这里作者使用的是小批次随机梯度下降法（Minibatch stochastic gradient descent）来训练
• 使用迭代的数值方法计算
• 作者强调了在学习的过程中，优化D的K个步骤和优化G的1个步骤交替进行，这样是保证G变化的足够慢，使得D保持在最佳值附近
• 使用梯度上升更新判别器，使用梯度下降更新产生器
• 在基于梯度的方法中，使用了动量法这个改进的方法

---

全局最优解的证明

---

对抗网络训练到收敛后，最优的判别器满足$$D_G^{\ast }(x)=\frac{p_{data}(x)}{p_{data}(x)+p_g(x)}$$
即使得$p_g=p_{data}$

证明：对于任给的生成器G，判别器D训练的标准为最大化$V(G,D)$，将$V(G,D)$转换为如下的形式：$$V(G,D)={\int }_x{p}_{data}(x)log(D(x))dx+{\int }_{z}log(1-D(G(z)))dz={\int }_x{p}_{data}(x)log(D(x))dx+p_g(x)log(1-D(x))$$
因为任意的$(a,b)\in R^2$且不包含 { 0 , 0 } \{0,0\} {0,0}， ( a , b ) ∈ { 0 , 1 } (a,b)\in \{0,1\} (a,b)∈{0,1}，对于函数$y->alog(y)+blog(1-y)$在$\frac{a}{a+b}$处取得最大值，所以当$V(G,D)$取得最大值时，$p_{data}=p_g$。

如果将D的训练目标看做是条件概率$p(Y=y|x)$的最大似然估计，当$y=1$时x来自$p_{data}$，当$y=0$时x来自$p_g$，则有如下的转换，更容易理解这个结果。

同时当$p_{data}=p_g$时，C(G)取得最小值$-log4$。

---

算法收敛性的证明

---

当生成器G给定时，如果判别器D有足够的能力，则它能达到最优的效果，并且通过更新$p_g$来提高以下这个判别标准$$E_{x\sim p_{data}}[log{D}_G^{\ast }(x)]+E_{x\sim p_g}[log(1-D_G^{\ast }(x))]$$使得$p_g$收敛于$p_{data}$。

证明：将$V(G,D)$记为$V(G,D)=U(p_g,D)$，把它看做是关于$p_g$的函数，也是关于$p_g$的凸函数，则该凸函数上确界的一次单数包括到达最大值处的该函数的导数。换言之，如果$f(x)=su{p}_{\alpha \in A}{f}_{\alpha }(x)$且对每一个$\alpha$，$f_{\alpha }(x)$是关于x的凸函数，那么如果$\beta =argsu{p}_{\alpha \in A}{f}_{\alpha }(x)$，则$\partial f_{\beta }(x)=\partial f$。这等价于给定对应的G和最优的D，计算$p_g$的梯度更新，如前面所证，$su{p}_{D}U(p_g,D)$是关于$p_g$的凸函数且有唯一的全局最优解，所以当$p_g$的更新足够小时，$p_g$收敛于$p_{data}$。

---

实验

---

作者在包括MNIST、TFD和CIFAR-10的数据集上来训练对抗网络。生成器网络使用的激活函数包括修正线性激活（ReLU）和sigmoid 激活，而判别器网络使用maxout激活。Dropout被用于训练判别器网络。

通过对G生成的样本应用高斯Parzen窗口并计算此分布下的对数似然，来估计测试集数据的概率。高斯的$\sigma$参数通过对验证集的交叉验证获得，结果如下所示

该方法估计似然的方差较大且在高维空间中表现不好，但据我们所知却是目前最有效的办法。

用在图像问题中，我们也可以看出生成的图像很接近于真实图像。

---

算法的优缺点

---

缺点：

• $p_{data}(x)$只能隐式的表示
• 训练过程中D和G必须很好的同步

优点：

• 不需要马尔科夫链
• 仅使用后向传播来获得梯度
• 学习过程无需推理
• 模型可以融入多种函数
• 生成器只使用从判别器传来的梯度更新G
• 对于分布的表示很尖锐，即使是某些退化的分布

具体的和深度定向图模型、深度无定向图模型、生成自动编码器、对抗模型四种模型的对比如下

---

总结

---

最后作者给出了未来可以继续进行的工作的某些方向：

• 条件生成模型p(x∣c)可以通过将c作为G和D的输入来获得
• 给定x，可以通过训练一个辅助网络来学习近似推理以预测z。这和wake-sleep算法训练出的推理网络类似，但是它具有一个优势，就是在生成器网络训练完成后，这个推理网络可以针对固定的生成器网络进行训练
• 能够用来近似模拟所有的条件概率p(xS∣xS̸)，其中S是通过训练共享参数的条件模型簇的关于x索引的一个子集。本质上，可以使用生成对抗网络来随机拓展确定的MP-DBM
• .半监督学习：当标签数据有限时，判别网络或推理网络的特征会提高分类器效果
• 效率改善：为协调G和D设计更好的方法或训练期间确定更好的分布来采样z，能够极大的加速训练。

通过阅读后面相关GAN改进的论文我们可以发现，它们很多的工作正是以上面提到的相关思路在做改进。

---

参考

---

论文地址： https://arxiv.org/abs/1406.2661

论文源代码： http://www.github.com/goodfeli/adversarial

个人总结：Generative Adversarial Nets GAN原始公式的得来与推导

Generative Adversarial Nets（译）

Generative Adversarial Nets[Vanilla]

GAN（Generative Adversarial Nets）的发展

Generative Adversarial Nets论文笔记+代码解析

一周论文 | GAN（Generative Adversarial Nets）研究进展

一文读懂对抗生成学习(Generative Adversarial Nets)[GAN]