GANs入门系列二

该博客是根据台大李宏毅老师的关于GAN的视频教程所整理的笔记，建议大家可以直接看这个老师的视频（因在youtube，故需翻墙）

Generative Adversarial Network

回顾

Auto-encoder (AE)

简单，但生成的图像的质量很no realistic，视觉上看会很模糊，更像是图像的求均运算

Variational Auto encoder (VAE)

NN Encoder会产生两个向量$m,\sigma \in R^3$, 然后再从一个正态分布中采样一个噪声 $e\in R^3$，做 $c=\exp (\sigma )\odot e+m\in R^3$ ，最后将 $c$ 输入到NN Decoder中生成图像。优化的目标是使得 output 与 input 要尽可能地接近，同时为了引入正则项的目的是为了让 $\sigma ,m$ 尽可能地接近于 0，这样在测试时就可以去掉NN Encoder而直接使用 $e$ 作为NN Decoder的输入了。

AE/VAE存在的问题：

即NN Decoder并不会产生真正realisctic的数据。例如图中的两张“7”，二者仅差了一个像素点，人会偏爱左边的，但对该模型来说，二者与真实的“7”均差了一个像素点，故无优劣之分

GAN

Maximum Likelihood Estimation

• Given a data distribution $P_{data}(x)$
• We have a distribution $P_G(x;\theta )$ parameterized by $\theta$
  • $E.g.P_G(x;\theta )$ is a Gaussian Mixture Model, then $\theta$ are means and variances of the mixture Gaussian.
  • goal: find $\theta$ that $P_G(x;\theta )$ close to $P_{data}(x)$
  • note: $\text{the }x\text{ here donates the data sampling from (output of) distribution }{P}_{data}(P_G)\text{, not the input}.$

Sampling { x 1 , x 2 , … , x m } \{x^1,x^2,\dots,x^m\} {x1,x2,…,xm} from $P_{data}(x)$, we can compute $P_G(x^i;\theta ),i=1,2,\dots ,m$. Then Likelihood of generating the samples is: $L={\prod }_{i=1}^m{P}_G(x^i;\theta )$. Our goal is to find ${\theta }^{\ast }$ maximizing the likelihood:
θ ∗ = arg ⁡ max ⁡ θ ∏ i = 1 m P G ( x i ; θ ) = arg ⁡ max ⁡ θ log ⁡ ∏ i = 1 m P G ( x i ; θ ) = arg ⁡ max ⁡ θ ∑ i = 1 m log ⁡ P G ( x i ; θ )   ( ∵ { x i , … , x m }  from  P d a t a ) ≈ arg ⁡ max ⁡ θ E x ∼ P d a t a log ⁡ P G ( x ; θ )   ( when  m = + ∞ ) = arg ⁡ max ⁡ θ ∫ x P d a t a ( x ) log ⁡ P G ( x ; θ ) d x − ∫ x P d a t a ( x ) log ⁡ P d a t a ( x ) d x ⎵ 与 θ 无 关 ， 为 一 个 常 数 项 ， 不 会 影 响 θ ∗ 的 求 值 = arg ⁡ max ⁡ θ ∫ x − P d a t a ( x ) log ⁡ P d a t a ( x ) P G ( x ; θ ) d x = arg ⁡ min ⁡ θ KL ( P d a t a ( x ) ∥ P G ( x ; θ ) ) \begin{array}{lll} \theta^* &=& \arg\max_{\theta} \prod_{i=1}^m P_G(x^i; \theta) \\ &=& \arg\max_{\theta} \log \prod_{i=1}^m P_G(x^i; \theta) \\ &=& \arg\max_{\theta} \sum_{i=1}^m \log P_G(x^i;\theta)\ (\because \{x^i,\dots,x^m\}\text{ from }P_{data}) \\ &\approx& \arg\max_{\theta} E_{x \sim P_{data}}\log P_G(x;\theta)\ (\text{when }m=+\infty) \\ &=& \arg\max_{\theta} \int_x P_{data}(x) \log P_G(x;\theta) dx - \underbrace{\int_x P_{data}(x) \log P_{data}(x) dx}_{与\theta无关，为一个常数项，不会影响\theta^*的求值} \\ &=& \arg\max_{\theta} \int_x -P_{data}(x) \log \frac{P_{data}(x)}{P_G(x;\theta)}dx\\ &=& \arg\min_{\theta} \text{KL}(P_{data}(x) \|P_G(x;\theta)) \end{array} θ∗​===≈===​argmaxθ​∏i=1m​PG​(xi;θ)argmaxθ​log∏i=1m​PG​(xi;θ)argmaxθ​∑i=1m​logPG​(xi;θ) (∵{xi,…,xm} from Pdata​)argmaxθ​Ex∼Pdata​​logPG​(x;θ) (when m=+∞)argmaxθ​∫x​Pdata​(x)logPG​(x;θ)dx−与θ无关，为一个常数项，不会影响θ∗的求值 ∫x​Pdata​(x)logPdata​(x)dx​​argmaxθ​∫x​−Pdata​(x)logPG​(x;θ)Pdata​(x)​dxargminθ​KL(Pdata​(x)∥PG​(x;θ))​
即 ${\theta }^{\ast }$ 其实就是使得 $P_{data}(x)$ 与 $P_G(x)$ 尽可能的接近。在实际中，Gaussian mixture model无法完全拟合 $P_{data}$，故用 NN 来生成 $P_G$ 从而来拟合 $P_{data}$

然而，这会很难计算 likelihood（因为 $P_{data}$ 和 $P_G$ 均是未知的），而 GAN 则可解决该问题

Baisc Idea of GAN

• Generator $G$

  • $G$ is a function, input $z$, output $x$
  • Given a prior discribution $P_{\text{prior}}(z)$, a probability discribution $P_G(x)$ is defined by $G$

• Discriminator $D$

  • $D$ is a function, input $x$, output a scalar probability whether $x$ comes from a real dataset or not, $i.e.$, from $P_{data}(x)$ or $P_G(x)$

• Optimization function:
  $$\begin{array}{ll}& \arg {\min }_G{\max }_D{E}_{x\sim P_{data}}[\log D(x)]+E_{x\sim P_G}[\log (1-D(x))]\\ =& \arg {\min }_G{\max }_{D}V(G,D)\end{array}\text{\hspace{1em}(1)}$$

  • 给定 $G$，求解 $D^{\ast }$ 使其最大化 $V(G,V)$
    $$\begin{array}{lll}{\max }_{D}V& =& {\max }_D{E}_{x\sim P_{data}}[\log D(x)]+E_{x\sim P_G}[\log (1-D(x))]\\ & =& {\max }_D{\int }_x{P}_{data}(x)\log D(x)+P_G(x)\log (1-D(x))dx\\ & & (\text{积分号可合并的原因：理想中，PG≈Pdata，即分别来自 Pdata 和 PG 的 x 可视为同一个 x })\\ & =& {\max }_{D}f(D)\end{array}\text{\hspace{1em}(2)}$$
    然后对 $f(D)$ 对于自变量 $D$ 求导使其为0即可求解出$D^{\ast }$，结果为 $D^{\ast }(x)=\frac{P_{data}(x)}{P_{data}(x)+P_G(x)}$

  • 在得出 $D^{\ast }$ 后，将其代入 $V(G,D)$ 然后求解 $G^{\ast }$ 使其最小化 $V(G,D^{\ast })$
    $$\begin{array}{lll}{\min }_{G}V(G,D^{\ast })& =& {\min }_G{E}_{x\sim P_{data}}[\log D^{\ast }(x)]+E_{x\sim P_G}[\log (1-D^{\ast }(x))]\\ & =& -2\log 2+{\min }_G{\int }_x{P}_{data}(x)\log \frac{P_{data}(x)}{(P_{data}(x)+P_G(x))/2}+P_G(x)\log \frac{P_G(x)}{(P_{data}(x)+P_G(x))/2}dx\\ & =& -2\log 2+{\min }_G(\text{KL}(P_{data}(x)\Vert \frac{P_{data}(x)+P_G(x)}{2})+\text{KL}(P_G(x)\Vert \frac{P_{data}(x)+P_G(x)}{2}))\\ & =& -2\log 2+{\min }_{G}2\text{JSD}(P_{data}(x)\Vert P_G(x))\le 0\end{array}\text{\hspace{1em}(3)}$$
    其中 $\text{JSD}(P\Vert Q)=\frac{1}{2}\text{KL}(P\Vert M)+\frac{1}{2}\text{KL}(Q\Vert M),M=\frac{P+Q}{2}$，它是对称的，其值域为$[0,\log 2]$，若 $P,Q$完全一样，则值为0，若完全无关，则为$\log 2$。相反，$\text{KL}$ 是非对称的。注意。从该式上看，最小化 $G$ 其实就是使得 $P_G\to P_{data}$

上面是从理论上进行的求解分析，而在实际中，无需那么复杂，实际的优化过程如下：

存在问题

1. Discriminator通过JS散度能告诉Generator的有效信息很少。在实际的训练中可发现，即使generator能产生相对realistic的图片，discriminator也总是能够区分出哪些是真实的图片，哪些是伪造的图片。同时，随着迭代进行，即使generator以及能够产生越来越realistic的图片，它的loss其实会维持在一个特定的值，如下图所示：
   
   这会造成在实际中难以确定合适的迭代次数，且无法让generator提高效果。原因如下：
   在实际中，开始训练时，$P_{data}\cap P_G\to \varnothing$，即两个分布几乎没有交集，这就造成$\text{JSD}(P_{data}\Vert P_G)=\log 2$，即公式(3)的 ${\min }_{G}V(G,D^{\ast })=0$，因此 G 就无法得到优化：
   
   一种比较常见的解决方案：
   
2. Mode Collapse. 模型坍塌，即许多个不同的noise会生成同样一幅图片（即generator只会生成一些简单的、重复的样本，缺乏多样性）。例如，原数据集中10个类，但Generator只会生成其中1/2个类的图片，此时就称出现了模型坍塌问题