57、变分近似：结构化方法与优化策略

变分近似：结构化方法与优化策略

在许多实际应用中，精确的概率推理往往计算复杂度极高，甚至在大规模模型中不可行。变分近似作为一种有效的方法，通过寻找一个易于处理的近似分布来逼近目标分布，从而降低计算成本。本文将深入探讨变分近似中的结构化方法，包括如何简化近似分布、选择合适的近似结构以及相关的理论和实例。

1. 简化近似分布家族 Q

在变分近似中，我们常常需要选择一个合适的近似分布家族 Q 来逼近目标分布 PΦ。为了降低计算复杂度，我们可以尝试简化 Q 的形式，同时保证近似质量不下降。

1.1 示例分析

考虑一个四变量的成对马尔可夫网络，其参数化形式为：
[P_{\Phi}(A, B, C, D) \propto \varphi_{AB}(A, B) \cdot \varphi_{BC}(B, C) \cdot \varphi_{CD}(C, D) \cdot \varphi_{AD}(A, D)]
假设我们使用如下形式的变分近似分布：
[Q(A, B, C, D) = \frac{1}{Z_Q} \psi_1(A, B) \cdot \psi_2(C, D)]
其结构如图 11.18b 所示。根据固定点方程，我们可以得到 (\psi_1) 的固定点特征：
[\psi_1(a, b) \propto \exp {\mathbb{E} Q[\ln \varphi {AB}(A, B) | a, b] + \mathbb{E} Q[\ln \varphi {BC}(B, C) | a, b] + \mathbb{E} Q[\ln \varphi {A