为什么在GAN中使用KL散度会出现模式坍缩的问题？

李宏毅老师GAN的课程中曾经对于这个问题有一个直观的解释，大体上可以参考以下的简单理解

https://blog.youkuaiyun.com/Forlogen/article/details/88921247

那么具体在数学上如何理解这个问题的产生呢？在Goodfellow提出的GAN的原始论文中指出，当生成器和判别器的能力足够强的时候，一定可以收敛到纳什均衡点，此时得到的最优的判别器$D^{\ast }$为
$$D^{\ast }=\frac{p_r(x)}{p_r(x)+p_{\theta }(x)}$$
而当判别器固定时，生成器的目标函数为：
$$\underset{\theta }{\max }\left({\mathbb{E}}_{\mathrm{z}\sim p(\mathrm{z})}[\log D(G(\mathbf{z},\theta ),\varphi )]\right)$$
那么将$D^{\ast }$的表达式代入上式有
$$\begin{array}{l}{\mathcal{L}}^{\prime }\left(G|D^{\star }\right)={\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log D^{\star }(\mathbf{x})\right]\\ ={\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log \frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}\cdot \frac{p_{\theta }(\mathbf{x})}{p_{\theta }(\mathbf{x})}\right]\\ =-{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})}\right]+{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}\right]\\ \begin{array}{l}=-D_{\mathrm{K}\mathrm{L}}\left(p_{\theta }\Vert p_r\right)+{\mathbb{E}}_{\mathrm{x}\sim p_{\theta }(\mathrm{x})}\left[\log \left(1-D^{\star }(\mathrm{x})\right)\right]\\ =-D_{\mathrm{K}\mathrm{L}}\left(p_{\theta }\Vert p_r\right)+2D_{\mathrm{J}\mathrm{S}}\left(p_r\Vert p_{\theta }\right)-2\log 2-{\mathbb{E}}_{\mathrm{x}\sim p_r(\mathrm{x})}\left[\log D^{\star }(\mathrm{x})\right]\end{array}\end{array}$$
其中后两项为常数，只有前两项与生成器有关，所以可以将生成器的目标函数表示为
$$\underset{\theta }{\max }{\mathcal{L}}^{\prime }\left(G|D^{\star }\right)=\underset{\theta }{\min }{D}_{\mathrm{K}\mathrm{L}}\left(p_{\theta }\Vert p_r\right)-2D_{\mathrm{J}\mathrm{S}}\left(p_r\Vert p_{\theta }\right)$$
那么根据原论文中的介绍，其中第二项的$2D_{\mathrm{J}\mathrm{S}}\left(p_r\Vert p_{\theta }\right)$为有界函数，因此$\mathcal{L}$主要受逆向KL散度$D_{\mathrm{K}\mathrm{L}}\left(p_{\theta }\Vert p_r\right)$的影响，因此为了更快的收敛，生成器会倾向于生成一些已经骗过判别器的样本，这样的话，样本的多样性就会下降，从而造成了**模式坍缩（model collapse）**的问题。

---

为什么当$\mathcal{L}$主要受逆向KL散度$D_{\mathrm{K}\mathrm{L}}\left(p_{\theta }\Vert p_r\right)$的影响时就会出现模式坍缩呢？这要从逆向KL散度的性质来看。我们知道KL散度是非对称的，印象按照表达式中分布顺序的不同，可以分为正向KL散度和逆向KL散度，表达如下所示
$$\begin{array}{rl}{D}_{\mathrm{K}\mathrm{L}}\left(p_r\Vert p_{\theta }\right)& =\int p_r(\mathrm{x})\log \frac{p_r(\mathrm{x})}{p_{\theta }(\mathrm{x})}d\mathrm{x}\\ D_{\mathrm{K}\mathrm{L}}\left(p_{\theta }\Vert p_r\right)& =\int p_{\theta }(\mathrm{x})\log \frac{p_{\theta }(\mathrm{x})}{p_r(\mathrm{x})}d\mathrm{x}\end{array}$$
在前向KL散度中：

• 当$p_x\to 0$而$p_{\theta }>0$时，积分号内整体趋近于0，所以$p_{\theta }(x)$的取值对于KL散度的计算不起任何作用
• 当$p_x>0$而$p_{\theta }\to 0$时，积分号内整体趋近于$\infty$，所以KL散度会变得非常大

从中我们可以看出，前向KL散度会鼓励模型分布$p_{\theta }(x)$ 尽可能的覆盖所有真实分布$p_r(x)>0$的点，而不用会回避$p_r(x)\approx 0$的点。换言之，如果我们使用前向KL散度来衡量两个分布，生成器会更加倾向于生成多样性更好的样本。

而在逆向的KL散度中

• 当$p_x\to 0$而$p_{\theta }>0$时，积分号内整体趋近于$\infty$，即当$p_{\theta }(x)$趋近于0时，而$p_{\theta }(x)$有一定的密度时，逆向KL散度的值就会变得非常大
• 当$p_{\theta }\to 0$时，无论$p_r(x)$如何取值，积分号内的整体都将趋近于0

从中我们可以看出，逆向KL散度会鼓励模型分布$p_{\theta }(x)$ 尽可能避开所有真实分布$p_r(x)\approx 0$ 的点，而不需要考虑是否覆盖所有$p_r(x)>0$的点。这样的话，只要真实分布不趋近于0，模型就会尽量生成类似于已接近真实分布的新样本，而不是去生成所有覆盖真实分布的样本。

形象的表示如下

因此，如果使用逆向KL散度作为衡量手段的话，就会出现模式坍缩的问题。为了解决这个问题，不少人针对两个分布之间的衡量提出了很多GAN的变体，例如WGAN、Improved-WAN、LSGAN等等。

邱锡鹏《神经网络与深度学习》13.3.5.1节