56、变分近似推理方法：从均值场到结构化近似

变分近似推理方法：从均值场到结构化近似

1. 均值场算法：最大化能量泛函

1.1 固定点方程的简化

为了将固定点方程转化为更新算法，我们进行如下观察：如果变量 $X_i$ 不在因子 $\varphi$ 的作用域内，那么 $\mathbb{E} {U {\varphi}\sim Q}[\ln \varphi | x_i] = \mathbb{E} {U {\varphi}\sim Q}[\ln \varphi]$，即这些因子的期望项与 $X_i$ 的取值无关。因此，我们可以将它们吸收到归一化常数 $Z_i$ 中，得到如下简化结果：
在均值场近似中，$Q(X_i)$ 局部最优的条件是：
$Q(x_i) = \frac{1}{Z_i} \exp\left{\sum_{\varphi:X_i\in\text{Scope}[\varphi]}\mathbb{E} {(U {\varphi}-{X_i})\sim Q}[\ln \varphi(U_{\varphi}, x_i)]\right}$
其中 $Z_i$ 是归一化常数。

1.2 网格网络示例

以网格网络为例，$Q(A_{i,j})$ 可以表示为四个项的乘积，每个项衡量了它与四个邻居的相互作用：
$Q(a_{i,j}) = \frac{1}{Z_{i,j}} \exp\left{\sum_{a_{i - 1,j}} Q(a_{i - 1,j}) \ln(\varphi(a_{i - 1,j}, a_{i,j})) + \sum_{a_{i,j - 1}} Q(a_{i,j - 1}) \ln(\varp