10、近似推断：变分推断与期望传播方法详解

近似推断：变分推断与期望传播方法详解

在概率模型的应用中，评估潜在变量的后验分布以及计算相关期望是核心任务。然而，对于许多实际模型，精确计算后验分布或期望往往不可行，因此需要采用近似方法。本文将深入探讨变分推断和期望传播这两种确定性近似方法，详细介绍它们的原理、应用及特点。

1. 近似推断概述

在概率模型里，给定观测数据变量 $X$，评估潜在变量 $Z$ 的后验分布 $p(Z|X)$ 以及计算基于该分布的期望是关键。但在实际应用中，由于潜在空间维度过高或后验分布形式复杂，精确计算往往难以实现。对于连续变量，所需积分可能无解析解；对于离散变量，边缘化操作可能涉及指数级数量的隐藏状态，计算成本过高。因此，需要采用近似方案，主要分为随机近似和确定性近似两类。

2. 变分推断

变分方法起源于 18 世纪，在变分法的研究中得到发展。变分推断通过优化一个关于分布 $q(Z)$ 的下界 $L(q)$ 来近似后验分布，其核心是最小化 Kullback - Leibler（KL）散度。

• 变分优化的基本原理
  • 对于一个全贝叶斯模型，所有参数都有先验分布。设所有潜在变量和参数为 $Z$，观测变量为 $X$，模型指定了联合分布 $p(X, Z)$。通过分解对数边际概率 $\ln p(X) = L(q) + KL(q∥p)$，其中 $L(q) = \int q(Z) \ln \frac{p(X, Z)}{q(Z)} dZ$，$KL(q∥p) = - \int q(Z) \ln \frac{p(Z|X)}{q(Z)} dZ$。
  • 若允许 $q(Z)$ 任意选