8、变分自编码器（VAE）：从理论到实践的全面解析

变分自编码器（VAE）：从理论到实践的全面解析

1. VAE 组件概述

VAE 主要包含以下几个核心组件：
- 随机编码器 ：由一类近似真实后验 $p(z|x)$ 的变分后验 ${q_{\phi}(z|x)} {\phi}$ 构成。
- 随机解码器 ：条件似然 $p(x|z)$ 可视为随机解码器。
- 先验分布 ：$p(z)$ 是边际分布，也被称为先验。
- 目标函数 ：目标是最大化证据下界（ELBO），它是对数似然函数的下界，公式如下：
$\ln p(x) \geq E {z\sim q_{\phi}(z|x)} [\ln p(x|z)] - E_{z\sim q_{\phi}(z|x)} {\ln q_{\phi}(z|x) - \ln p(z)}$

为了全面理解 VAE，还需解决两个关键问题：
1. 如何对分布进行参数化？
2. 如何计算期望值？

2. 分布的参数化

在 VAE 框架中，我们使用神经网络对编码器和解码器进行参数化。不过，在使用神经网络之前，需要先确定所使用的分布。
- 输入数据的分布 ：以图像数据为例，若 $x \in {0, 1, \ldots, 255}^D$，不能使用正态分布，因为其支持集与离散值图像的支持集不同。可以使用分类分布：
$p_{\theta}(x|z) = \text{Categorical} (x|\theta(z)