GAN中判别器与极大似然估计的关联

在GAN中，对于判别器D来说，实际上就是一个普通的二分类问题。

根据文章《交叉熵，KL散度以及多分类问题下的极大似然估计》当中的思考，对于二分类问题的极大似然估计，有如下式子成立：

$$\begin{align} L(X,Y,\theta) &=\int_x \int_y p(x,y) \log q(y|x)dydx \\ &= \int p(x) [p(y_i=1|x_i)\log q(y_i=1|x_i) + p(y_i=0|x_i)\log {q(y_i=0|x_i)}]dx \\ \end{align}$$

那么，将上式的最后一步重新写成联合概率的形式，有

$$\begin{align} L(X,Y,\theta) & = \int [p(x,y=1)\log q(y=1|x) + p(x,y=0)\log q(y=0|x)]dx\\ &= \int [p(x,y=1)\log q(y=1|x) + p(x,y=0)\log q(y=0|x)]dx\\ \end{align}$$

对应到GAN中来，D分类器要做的就是给定一个x，需要判断这个样本x是属于real data还是generated data，如果我们把属于real data当作y=1，generated data当作y=0，那么便有

$$\begin{align} L(X,Y,\theta) &= \int [p(x,y=1)\log q(y=1|x) + p(x,y=0)\log q(y=0|x)]dx\\ &= \int [p(x \in real)\log q(y=1|x) + p(x\in fake)\log q(y=0|x)]dx\\ &= \int p_r(x)\log q(y=1|x)dx + \int p_g(x)\log q(y=0|x)]dx\\ &= \int p_r(x)\log D(x)dx + \int p_g(x)\log(1-D(x))dx\\ &= E_{p_r(x)}[\log(D(x))] + E_{p_g(x)}[\log(1-D(x))]\\ \end{align}$$

判别器

判别器作为一个二分类器，其目标函数是极大似然估计，那么当D(x)取什么值的时候，似然函数达到最大值呢？因为有

$$\begin{align} L(D) &= \int [p_r(x)\log D(x) + p_g(x)\log(1-D(x))]dx \end{align}$$
从积分的微观角度来解决这个问题的话，实际上这个式子可以变形为
$$\begin{align} L(D) &= \sum_{i=1}^{N} [p_r(x_i)\log D(x_i) + p_g(x_i)\log(1-D(x_i))] \Delta x\\ &= \sum_{i=1}^{N} f(D(x_i))\Delta x \end{align}$$
其中，有两个点：

• $\Delta x = \frac{|x|}{N}$，意思是说把x的定义域等分成N份
• $x_{i+1}=x_i + \Delta x$

由于对所有的采样点$x_i$来说，$\Delta x$都相同的，因此如果能够使得求和里面的每一项f(D)都能够达到最大值，那么自然就取得了L(D)的最大值。而f(D)的最大值可以通过对D求导获得：

$$\begin{align} \frac{\partial f(D)}{\partial D} = \frac{p_r(x)-D(x)(p_r(x)+p_g(x))}{D(x)(1-D(x))} \end{align}$$
令导数为0，可以求得能够使得似然函数最大的最优判别器为：

$$\begin{align} D^{\star}(x) = \frac{p_r(x)}{p_r(x)+p_g(x)} \end{align}$$

几个概率的思考

这里的思考主要来自于上面的式子。

概率$p(y=1|x)$的分布

在GAN中，给定一个样本x，它有可能来自于真实的数据，即$x \sim p_r(x)$，也有可能来自于生成的假的数据分布，即$x \sim p_g(x)$，而这两个分布可能存在重叠区域，也有可能存在不重叠的区域
- 在重叠区域概率分布$p(y=1|x)$为一个0到1的某个数
- 在不重叠区域分为两种情况：一种是只有真实数据样本的分布，那么$p(y=1|x)=1$；另一种是只有生成数据样本的分布，那么$p(y=1|x)=0$
- 假如在一维的x轴上，从左侧到右侧依次是：只有真实数据分布，有重叠区域，只有生成数据分布，那么$p(y=1|x)$的形状便是从左侧到右侧依次是：恒等于1，根据实际数据情况而波动，恒等于0

各个概率之间的关系

有这几种概率
- $p(y=1|x)$，上面已经讨论过了
- $p(x,y=1)$，它实际上等于$p_r(x)$，也就是真实数据的分布
- $p(x|y=1)=\frac{p(x,y=1)}{p(y=1)}$

这些概率之间的关系，可以参考之前思考过的二维高斯分布的情况。