22、生成模型：GAN与变分自编码器详解

生成模型：GAN与变分自编码器详解

1. GAN中的图像生成

在生成对抗网络（GAN）中，我们可以通过优化生成器的权重 $\varphi$ 来最小化目标函数。经过优化后，最优的生成分布 $G$ 所代表的 $p_g^*(x)$ 等于数据分布 $p_{data}(x)$，这与我们对于完美混淆判别器的直觉相匹配，也表明原始GAN论文中提出的目标函数在理论上确实能收敛到全局最优。

当我们有了最优的生成器和判别器后，进行图像生成就变得简单了。具体步骤如下：
1. 从噪声分布 $p(z)$ 中采样。这里的 $z$ 不同于标准生成模型中的潜在变量，它只是一个服从标准分布（如均匀分布或标准多元高斯分布）的随机变量，方便我们进行采样。
2. 将每个采样结果通过生成器。训练好的最优生成器 $G$ 是一个复杂的可微函数，它能将 $p(z)$ 的样本转换为近似 $p(x)$ 的 $p_{data}(x)$ 的样本，从而生成看起来像是从数据集本身抽取的图像。

在这个阶段，判别器不再需要，因为它已经完成了与生成器竞争的使命，促使生成器进化到能够生成完美混淆判别器的图像。

2. 变分自编码器（VAE）概述

与GAN的引入同期，变分自编码器（VAE）被提出。VAE的思想更植根于概率建模，它假设存在一组未观察到的潜在变量 $z$ 来生成我们所看到的数据 $x$。具体来说，存在一个关于潜在变量 $z$ 和观察数据 $x$ 的联合概率分布 $p(x,z)$，它可以分解为 $p(x|z)p(z)$。

$x$ 可以代表任何连续或离散的数据，包括图像，我们可以根据数据集了解其定义域。而 $z$ 则难以捉摸，我们通常先对其进行一些初始假设，例