GAN的基本原理

---

GAN 简介

GAN的工作原理

generator 和 discriminator相互博弈：

• discrimiator最大化真实样例与generator样例之间的差异
• generator根据discriminator“反馈的指导信息”，更新参数，生成“更靠谱”的样例，减小与真实样例的差异。

Minimax Game:

$$min_G\; max_D\; V(G, D)$$
在origin GAN中：
$$V = E_{x\sim P_{data}}[logD(x)] + E_{x \sim P_G}[log(1-D(x))]$$
一般而言，G是neural network, 它从一个先验分布 $P_z$,生成x,上式写成：
$$V = E_{x\sim P_{data}}[logD(x)] + E_{z \sim P_z}[log(1-D(G(z)))]$$

GAN的应用示例

目前，Tensorflow 1.4已经提供了一些gan的实现，在tf.contrib.gan中；另外，有很多开源的GAN的实现。（示例略，可以参加mnist上的各种实验和DCGAN、WGAN等生成的图片）

GAN与ML

LR判别模型

样本实例集合：$D = \{(x^i, y^i)\}_{i=1}^n$
利用最大似然(ML), 求解判别模型：$h_{\theta}(x) = \frac{1}{1+e^{-\theta^T x}}$

$$\theta^* = arg\ max\ \frac{1}{n}\sum_{i=1}^n y^i log\ h_\theta(x^i) + (1-y^i)log(1-h_\theta(x^i)) \\ = arg\ max\ \frac{1}{n} \sum_{y^i=1}log\ h_{\theta}(x^i) + \sum_{y^j=0} log(1-h_\theta(x^j))\\ = arg\ max\ \frac{|D_1|}{n} \frac{1}{|D_1|} \sum_{D_1}log\ h_{\theta}(x^i) + \frac{|D_0|}{n} \frac{1}{|D_0|} \sum_{D_0}log\ h_{\theta}(x^j)\\ = arg\ max\ P(y=1)E_{x\sim P(x|y=1)}[log h_\theta(x)] + P(y=0)E_{x\sim P(x|y=0)}[log (1-h_\theta(x))]$$
事实上，当假设空间 $h_\theta(x)$有足够强的表征能力，（比如真实分布确实由LR模型生成，或者 $h_\theta$是深层神经网络，可以表征任意函数）；通过求导，可以得到最优解为：
$$h^*_\theta(x) = \frac{P(y=1)P(x|y=1)}{P(y=1)P(x|y=1) + P(y=0)P(x|y=0)} \\ = \frac{P(x, y=1)}{P(x) } = P(y=1 | x)$$
(额，貌似推理了一句废话，不过这个公式正说明，当我们采用ML或者cross entropy的时候，最优解正是后验概率（条件概率），前提是 $h_\theta(x)$有足够强的表征能力。推导这个式子，也可以和后面推导 $D^*$相互验证)
观察式子：

• $x^i$是正例， $h_\theta(x^i)$尽可能大，接近1
• $x^j$是负例， h