【研究生工作周报】（第七周）

学习目标：

• GAN对抗生成网络
• 《深度学习》第六章前馈神经网络
• 《深度学习》第七章深度学习中的正则化

---

学习内容：

1. Ian J. Goodfellow《Generative Adversarial Nets》
2. 李宏毅深度学习课程关于GAN的讲解
3. GAN算法原理
4. GAN训练过程
5. GAN价值函数推导过程

---

学习时间：

• 6.19~6.25

---

学习产出：

• 优快云 技术博客 1 篇
• github代码

GAN概述

  生成对抗网络GAN（Generative adversarial nets）是由Goodfellow等人于2014年提出的基于深度学习模型的生成框架，可用于多种生成任务。从名称也不难看出，在GAN中包括了两个部分，分别为”生成”和“对抗”，整两个部分也分别对应了两个网络，即生成网络（Generator）$G$和判别网络（Discriminator）$D$，为描述简单，以图像生成为例：

  生成网络（Generator）$G$用于生成图片，其输入是一个随机的噪声$\mathbf{z}$，通过这个噪声生成图片，记作$G\left(\mathbf{z}\right)$。
  判别网络（Discriminator）$D$用于判别一张图片是否是真实的，对应的，其输入是一整图片$\mathbf{x}$，输出$D\left(\mathbf{x}\right)$表示的是图片$\mathbf{x}$为真实图片的概率。
  在GAN框架的训练过程中，希望生成网络$G$生成的图片尽量真实，能够欺骗过判别网络$D$；而希望判别网络$D$能够把$G$生成的图片从真实图片中区分开。这样的一个过程就构成了一个动态的“博弈”。最终，GAN希望能够使得训练好的生成网络$G$生成的图片能够以假乱真，即对于判别网络$D$来说，无法判断$G$生成的网络是不是真实的。

综上，训练好的生成网络$G$便可以用于生成“以假乱真”的图片。

GAN的框架结构

  GAN的框架是由生成网络$G$和判别网络$D$这两种网络结构组成，通过两种网络的“对抗”过程完成两个网络的训练。由生成网络$G$生成一张“Fake image”，判别网络$D$判断这张图片是否来自真实图片。

GAN框架的训练过程

  生成网络和判别网络更像是自然界的一对生产者和捕食者，它们在各自独立迭代，进化的同时，也伴随着协同学习，共同进步。用论文里的一句话来描述训练过程就是

The training procedure for G is to maximize the probability of D making a mistake.

  GAN希望的是对于判别网络，其能够正确判定数据是否来自真实的分布，对于生成网络，其能够尽可能使得生成的数据能够“以假乱真”，使得判别网络分辨不了。这样的训练过程是一个动态的“博弈”过程，通过交替训练，最终使得生成网络$G$生成的图片能够“以假乱真”，其具体过程如下图所示：

  如上图(a)中，黑色的虚线表示的是从真实的分布$p_{\mathbf{x}}$，绿色的实线表示的是需要训练的生成网络的生成的分布$p_g\left(G\right)$，蓝色的虚线表示的是判别网络，最下面的横线$\mathbf{z}$表示的是从一个先验分布（如图中是一个均匀分布）采样得到的数据点，中间的横线$\mathbf{x}$表示的真实分布，两条横线之间的对应关系表示的是生成网络将先验分布映射成一个生成分布$p_g\left(G\right)$。从图(a)到图(d)表示了一个完整的交替训练过程，首先，如图(a)所示，当通过先验分布采样后的数据经过生成网络$G$映射后得到了图上绿色的实线代表的分布，此时判别网络$D$并不能区分数据是否来自真实数据，通过对判别网络的训练，其能够正确地判断生成的数据是否来自真实数据，如图(b)所示；此时更新生成网络$G$，通过对先验分布重新映射到新的生成分布上，如图©中的绿色实线所示。依次交替完成上述步骤，当达到一定迭代的代数后，达到一个平衡状态，此时$p_g=p_{data}$，判别网络$D$将不能区分图片是否来自真实分布，且$D\left(\mathbf{x}\right)=\frac{1}{2}$。

价值函数

首先对于二分类问题，一般使用交叉熵作为损失函数：

$$J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[y^{\left(i\right)}log{\hat{y}}^{\left(i\right)}+\left(1-y^{\left(i\right)}\right)log\left(1-{\hat{y}}^{\left(i\right)}\right)\right]$$其中，$y^{\left(i\right)}$ 表示的是真实的样本标签，${\hat{y}}^{\left(i\right)}$表示的是模型的预测值。

对于GAN的两部分样本，一个是真实的样本$\left\{\left({\mathbf{x}}^{\left(1\right)},1\right),\left({\mathbf{x}}^{\left(2\right)},1\right),\cdots ,\left({\mathbf{x}}^{\left(m\right)},1\right)\right\}$，另一部分来自生成模型$\left\{\left(G\left({\mathbf{z}}^{\left(1\right)}\right),0\right),\left(G\left({\mathbf{z}}^{\left(2\right)}\right),0\right),\cdots ,\left(G\left({\mathbf{z}}^{\left(m\right)}\right),0\right)\right\}$。

将两部分带入交叉熵，可得GAN价值函数$V\left(G,D\right)$为：

$$\underset{G}{\min }\underset{D}{\max }V\left(D,G\right)={\mathbb{E}}_{\mathbf{x}\sim p_{data}\left(\mathbf{x}\right)}\left[logD\left(\mathbf{x}\right)\right]+{\mathbb{E}}_{\mathbf{z}\sim p_{\mathbf{z}}\left(\mathbf{z}\right)}\left[log\left(1-D\left(G\left(\mathbf{z}\right)\right)\right)\right]$$

其中，${\mathbb{E}}_{\mathbf{x}\sim p_{data}\left(\mathbf{x}\right)}\left[logD\left(\mathbf{x}\right)\right]$表示的是$D\left(\mathbf{x}\right)$的期望，${\mathbb{E}}_{\mathbf{z}\sim p_{\mathbf{z}}\left(\mathbf{z}\right)}\left[log\left(1-D\left(G\left(\mathbf{z}\right)\right)\right)\right]$表示的是$log\left(1-D\left(G\left(\mathbf{z}\right)\right)\right)$的期望。

假设从真实数据中采样$m$个样本$\left\{{\mathbf{x}}^{\left(1\right)},{\mathbf{x}}^{\left(2\right)},\cdots ,{\mathbf{x}}^{\left(m\right)}\right\}$，从噪音分布$p_g\left(\mathbf{z}\right)$中同样采样$m$个样本，记为$\left\{{\mathbf{z}}^{\left(1\right)},{\mathbf{z}}^{\left(2\right)},\cdots ,{\mathbf{z}}^{\left(m\right)}\right\}$，此时，上述价值函数可以近似表示为：

$$\underset{G}{\min }\underset{D}{\max }V(D,G)\approx \sum _{i=1}^m[logD(x^{(i)})]+\sum _{i=1}^m[log(1-D(G(z^{(i)})))]$$

用随机梯度下降法训练过程在论文中如下流程所示：（分两步ascending，descending，加梯度减梯度交替训练生成器判别器）

KL散度

需要刻画两个分布是否相似，需要用到KL散度（KL divergence）。KL散度是统计学中的一个基本概念，用于衡量两个分布的相似程度，数值越小，表示两种概率分布越接近。
对于离散的概率分布，定义如下：

$$\left(P\parallel Q\right)=\sum _{i}P\left(i\right)log\frac{P\left(i\right)}{Q\left(i\right)}$$对于连续的概率分布，定义如下：

$$\left(P\parallel Q\right)={\int }_{-\infty }^{+\infty }p\left(x\right)log\frac{p\left(x\right)}{q\left(x\right)}$$

极大似然估计

上述需要求解生成分布$p_g\left(\mathbf{x};\theta \right)$中的参数$\theta$，需要用到极大似然估计。根据极大似然估计的方式，由于最终是希望生成的分布$p_g\left(\mathbf{x};\theta \right)$与原始的真实分布$p_{data}\left(\mathbf{x}\right)$，首先从真实分布$p_{data}\left(\mathbf{x}\right)$采样$m$个数据点，记为$\left\{{\mathbf{x}}^{\left(1\right)},{\mathbf{x}}^{\left(2\right)},\cdots ,{\mathbf{x}}^{\left(m\right)}\right\}$，根据生成的分布，得到似然函数为：

$$L=\prod _{i=1}^m{p}_g\left({\mathbf{x}}^{\left(i\right)};\theta \right)$$

取log后，得到等价的log似然：

$$L=\sum _{i=1}^{m}log{p}_g\left({\mathbf{x}}^{\left(i\right)};\theta \right)$$
此时，${\theta }^{\ast }$为：

$\theta \ast =arg\underset{\theta }{\max }{\sum }_{i=1}^{m}log{p}_g(x^{(i)};\theta )$
  $\approx arg\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{x}\sim p_{data}}[log{p}_g(x;\theta )]$
  $=arg\underset{\theta }{\max }{\int }_x{p}_{data}(x)log{p}_g(x;\theta )dx$

​

对上述的公式做一些修改，增加一个与$\theta$无关的项${\int }_{\mathbf{x}}{p}_{data}\left(\mathbf{x}\right)log{p}_{data}\left(\mathbf{x}\right)d\mathbf{x}$，这样并不改变对${\theta }^{\ast }$的求解，此时，公式变为：

$$\underset{\theta }{\mathrm{argmax}}{\int }_{\mathbf{x}}{p}_{data}\left(\mathbf{x}\right)log{p}_g\left(\mathbf{x};\theta \right)d\mathbf{x}-{\int }_{\mathbf{x}}{p}_{data}\left(\mathbf{x}\right)log{p}_{data}\left(\mathbf{x}\right)d\mathbf{x}$$
将最大值求解变成最小值为：

$$\underset{\theta }{\mathrm{argmin}}{\int }_{\mathbf{x}}{p}_{data}\left(\mathbf{x}\right)log{p}_{data}\left(\mathbf{x}\right)d\mathbf{x}-{\int }_{\mathbf{x}}{p}_{data}\left(\mathbf{x}\right)log{p}_g\left(\mathbf{x};\theta \right)d\mathbf{x}$$

通过积分公式的合并，得到：

$$\underset{\theta }{\mathrm{argmin}}{\int }_{\mathbf{x}}{p}_{data}\left(\mathbf{x}\right)log\frac{p_{data}\left(\mathbf{x}\right)}{log{p}_g\left(\mathbf{x};\theta \right)}d\mathbf{x}$$

由KL散度可知，上述可以表示为：

$$\underset{\theta }{\mathrm{argmin}}KL\left(p_{data}\left(\mathbf{x}\right)\parallel p_g\left(\mathbf{x};\theta \right)\right)$$
由此可以看出最小化KL散度等价于最大化似然函数。

收敛性分析

当生成网络G确定后，价值函数可以表示为：

$\underset{D}{\max }V(D)={\int }_x{p}_{data}(x)log(D(x))dx+{\int }_z{p}_z(z)log(1-D(G(z)))dz$
      $={\int }_x{p}_{data}(x)log(D(x))+p_g(x)log(1-D(x))dx$

由于上述的积分与D无关，上述可以简化成求解：

$$\underset{D}{\max }\left[p_{data}\left(\mathbf{x}\right)log\left(D\left(\mathbf{x}\right)\right)+p_g\left(\mathbf{x}\right)log\left(1-D\left(\mathbf{x}\right)\right)\right]$$

求导数并令其为0，便可以得到最大的D:

$D^{\ast }=\frac{p_{data}\left(\mathbf{x}\right)}{p_{data}\left(\mathbf{x}\right)+p_g\left(\mathbf{x}\right)}$

且$D\left(\mathbf{x}\right)\in \left[0,1\right]$，将其带入到价值函数中，可得

$V\left(D^{\ast },G\right)={\mathbb{E}}_{\mathbf{x}\sim p_{data}\left(\mathbf{x}\right)}\left[log\frac{p_{data}\left(\mathbf{x}\right)}{p_{data}\left(\mathbf{x}\right)+p_g\left(\mathbf{x}\right)}\right]+{\mathbb{E}}_{\mathbf{x}\sim p_g\left(\mathbf{x}\right)}\left[log\left(1-\frac{p_{data}\left(\mathbf{x}\right)}{p_{data}\left(\mathbf{x}\right)+p_g\left(\mathbf{x}\right)}\right)\right]$

对上式简化，可得：
$V\left(D^{\ast },G\right)={\mathbb{E}}_{\mathbf{x}\sim p_{data}\left(\mathbf{x}\right)}\left[log\frac{p_{data}\left(\mathbf{x}\right)}{p_{data}\left(\mathbf{x}\right)+p_g\left(\mathbf{x}\right)}\right]+{\mathbb{E}}_{\mathbf{x}\sim p_g\left(\mathbf{x}\right)}\left[log\left(1-\frac{p_{data}\left(\mathbf{x}\right)}{p_{data}\left(\mathbf{x}\right)+p_g\left(\mathbf{x}\right)}\right)\right]$

      $={\int }_x{p}_{data}(x)log\frac{p_{data}(x)}{p_{data}(x)+p_g(x)}dx+{\int }_x{p}_g(x)log\frac{p_g(x)}{p_{data}(x)+p_g(x)}dx$

通过对分子和分母分别除2，可得：

$V\left(D^{\ast },G\right)={\int }_x{p}_{data}(x)log\frac{\frac{1}{2}{p}_{data}(x)}{\frac{p_{data}(x)+p_g(x)}{2}}dx+{\int }_x{p}_g(x)log\frac{\frac{1}{2}{p}_g(x)}{\frac{p_{data}(x)+p_g(x)}{2}}dx$
      $=-2log2+KL(p_{data}(x)\Vert \frac{p_{data}(x)+p_g(x)}{2})+KL(p_g(x)\Vert \frac{p_{data}(x)+p_g(x)}{2})$


这里引入另一个散度：JS散度（Jensen-Shannon Divergence）

$$JSD\left(P\parallel Q\right)=\frac{1}{2}\left[KL\left(P\parallel M\right)+KL\left(Q\parallel M\right)\right]$$

其中，$M=\frac{P+Q}{2}$ 。因此$V\left(D^{\ast },G\right)$可以表示为：

$$V\left(D^{\ast },G\right)=-log4+2JSD\left(p_{data}\left(\mathbf{x}\right)\parallel p_g\left(\mathbf{x}\right)\right)$$

已知JS散度是一个非负值，且值域为$\left[0,1\right]$，当两个分布相同时取0，不同时取1。对于$V\left(D^{\ast },G\right)$的最小值为当$JS=0$时，即最小值是$-log4$。此时$p_{data}\left(\mathbf{x}\right)=p_g\left(\mathbf{x}\right)$，求得的生成网络$G$生成的数据分布与真实的数据分布差异性最小，即GAN所要求的目标：$p_g=p_{data}$。

训练结果

初始结果：

训练20个Epoch：

生成器性能不断优化：

总结

  本周重点是研究Ian Goodfellow在2014年发表的论文《Generative Adversarial Nets》中提出的GAN网络，结合李宏毅老师的深度学习课程相关部分针对对抗生成网络进行系统的了解学习。
  GAN的生成器和判别器就像自然界的一对物种，生成器为了骗过判别器不断优化，判别器也通过不断训练努力提升辨别能力，最终我们将会得到一个非常优秀的生成器。
  在训练过程推导价值函数时，接触到了散度这个新概念，结合之前学过的极大似然估计，发现这里的最小化KL散度等价于最大化似然函数。JSD散度相比较于KL散度，具备了对称性，且JS 散度的取值为 0 到 log2。若两个分布完全没有交集，那么 JS 散度取最大值 log2；若两个分布完全一样，那么 JS 散度取最小值 0，当且仅当 P=Q，JSD散度取最小值0，求得的G会使得真实的数据分布和生成的数据分布差异性最小，这样自然可以生成一个和原分布尽可能接近的分布，同时也摆脱了计算极大似然估计，所以GAN的本质是通过改变训练的过程来避免繁琐的计算。所以GAN在建模数据分布的优势不言而喻，同时它的局限性也很明显：难训练不稳定，生成器判别器需要很好的同步，还有别的论文中提到的多次训练梯度消失问题，模式缺失（Mode Collapse）问题（即只生成简单重复样本点）。