39、深度变分推理：原理、方法与应用

深度变分推理：原理、方法与应用

1. 变分推理基础

在处理数据时，我们常常会遇到观测数据 $x$，它可能是连续的，也可能是离散的。而数据的生成过程往往涉及隐藏的潜在变量 $z$。例如，$x$ 可以是一张人脸图像，$z$ 则是描述诸如姿势、光照、性别或情感等潜在变量的隐藏向量。

1.1 概率模型与目标

概率模型是隐藏变量 $z$ 和观测变量 $x$ 的联合密度 $p(z, x)$。我们的目标是估计后验 $p(z|x)$，以便用隐藏变量 $z$ 来解释观测变量 $x$。根据定义，有以下关系：
$p(z, x) = p(z|x)p(x) = p(x|z)p(z) = p(x, z)$
其中，$p(z, x)$ 是联合密度，$p(z|x)$ 是后验，$p(x)$ 是证据或边际密度，$p(z)$ 是先验密度，$p(x|z)$ 是似然函数。通过重新排列这些项，我们可以得到贝叶斯规则：
$p(z|x) = \frac{p(x|z)p(z)}{p(x)}$
然而，对于大多数模型来说，分母 $p(x)$ 是一个高维的难以处理的积分，需要对 $z$ 的指数数量的项进行积分：
$p(x) = \int p(x|z)p(z)dz$

1.2 变分推理的核心思想

由于计算 $p(z|x)$ 很困难，变分推理（VI）的关键思想是用一个来自分布族 $Q$ 的变分分布 $q_{\varphi}(z)$ 来近似后验，其中 $Q$ 由变分参数 $\varphi$ 定义，使得 $q_{\varphi}(z) \in Q$。我们的目标是找到分布族 $Q$ 中最接近 $p(z|x)$ 的分布 $q_{\varphi}^{\st