23、生成对抗网络、自编码器与主成分分析：高维数据的表示学习与降维

生成对抗网络、自编码器与主成分分析：高维数据的表示学习与降维

1. 生成对抗网络的学习与采样

1.1 学习生成对抗网络

学习生成对抗网络的目的是得到一个深度生成模型 (f_{\theta}(z))。以下是学习的具体步骤：
1. 初始化 ：给定训练数据 (T = {x_i} {i=1}^{n})，初始参数 (\theta) 和 (\eta)，学习率 (\gamma)，批量大小 (n_b)，以及每个生成器迭代对应的判别器迭代次数 (T {critic})。
2. 迭代过程 ：
- 判别器更新 ：
- 对于 (t = 0, \cdots, T_{critic})：
- 从训练数据中采样小批量 ({x_i} {i=1}^{n_b})。
- 独立地从 (N(0, I)) 中采样小批量 ({z_i} {i=1}^{n_b})。
- 计算梯度 (\hat{d} {critic} = \frac{1}{2n_b} \sum {i=1}^{n_b} \nabla_{\eta} {L(1, g_{\eta}(f_{\theta}(z_i))) + L(-1, g_{\eta}(x_i))})。
- 更新判别器参数：(\eta \leftarrow \eta - \gamma \hat{d} {critic})。
- 生成器更新 ：
- 独立地从 (N(0, I)) 中采样小批量 ({z_i}