28、生成对抗网络：原理、优化与应用

生成对抗网络：原理、优化与应用

1. 生成对抗网络基础

生成对抗网络（GAN）由生成器和判别器组成，在图像合成等领域取得了显著成果。但在训练过程中，GAN 存在一些常见问题，如模式丢弃（mode dropping）和模式崩溃（mode collapse）。
- 模式丢弃 ：生成器生成的样本仅代表数据的一个子集，例如在生成人脸时，可能永远不会生成有胡子的人脸。
- 模式崩溃 ：生成器完全或大部分忽略潜在变量 z，将所有样本坍缩到一个或几个点，导致生成的样本质量低且相似。

2. 提高 GAN 训练稳定性

2.1 GAN 损失函数分析

GAN 的损失函数可以用期望形式表示：
[
L[\phi] = -\frac{1}{J} \sum_{j=1}^{J} \left(\log \left[1 - \text{sig}[f[x_j^ , \phi]]\right]\right) - \frac{1}{I} \sum_{i=1}^{I} \left(\log \left[\text{sig}[f[x_i, \phi]]\right]\right)
]
近似为：
[
L[\phi] \approx -E_{x^ } \left[\log \left[1 - \text{sig}[f[x^ , \phi]]\right]\right] - E_{x} \left[\log \left[\text{sig}[f[x, \phi]]\right]\right]
]
[