11、分层潜变量模型及分层变分自编码器详解

分层潜变量模型及分层变分自编码器详解

1. 引言

AI 的主要目标是构建能与环境交互、处理、存储和传输信息的系统。我们期望 AI 系统通过识别和拆解观测到的低感官数据中的隐藏因素，来理解周围的世界。这可以通过学习一个概率模型来实现，即观测数据 $x$ 和隐藏因素 $z$ 的联合分布 $p(x, z)$。学习有用的表示等同于找到隐藏因素的后验分布 $p(z|x)$，但“有用”的定义并不明确。

我们假设经验分布为 $p_{data}(x)$，潜变量模型为 $p_{\theta}(x, z)$，且使用深度神经网络（DNNs）对其进行参数化。这有两个重要原因：
- DNNs 是非线性变换，具有灵活性，能对广泛的分布进行参数化。
- 但我们要记住，DNNs 并不能解决所有问题，我们需要从整体上考虑模型，包括所选的分布以及随机变量之间的交互等。

联合分布可以通过两种方式进行分解：
- $p_{\theta}(x, z) = p_{\theta}(x|z)p_{\theta}(z)$
- $p_{\theta}(x, z) = p_{\theta}(z|x)p_{\theta}(x)$

学习 $\theta$ 的训练问题可以定义为一个无约束的优化问题，训练目标为：
$KL[p_{data}(x)||p_{\theta}(x)] = -H[p_{data}(x)] + CE[p_{data}(x)||p_{\theta}(x)] = const + CE[p_{data}(x)||p_{\theta}(x)]$
其中，$p_{\theta}(x) = \int p_{\theta}(x, z) dz$，$H[·]$