77、混合网络中的推理与期望传播算法

混合网络中的推理与期望传播算法

在处理混合网络时，我们会遇到各种复杂的问题，尤其是在进行边缘化操作和消息传递时。本文将深入探讨混合网络中的推理方法，特别是期望传播（EP）算法在条件线性高斯（CLG）网络中的应用。

1. 边缘化操作

在混合网络中，边缘化操作分为连续变量的边缘化和离散变量的边缘化两种情况。

1.1 连续变量的边缘化

连续变量的边缘化操作相对直接。假设我们有一个规范表，其中包含一组由 $d$ 索引的规范形式 $C (X, Y ; K_d, h_d, g_d)$。对于每个 $d$，我们可以使用方程（14.5）对相应规范形式中的 $Y$ 进行积分。这将得到一个新的规范表 $C (X; K’ d, h’_d, g’_d)$，索引仍为 $d$。在操作前，我们有一个关于变量集 $X$ 和 $Y$ 的混合函数；操作后，我们得到一个具有相同组件集的混合，但每个组件现在仅表示关于变量 $X$ 的函数。需要注意的是，为了使积分有定义，每个矩阵 $K {d,YY}$ 必须是正定的。

1.2 离散变量的边缘化 - 弱边缘化

离散变量的边缘化要复杂得多。例如，假设我们有一个规范形式 $\varphi(A, X)$，其中 $A$ 是二元变量，$X$ 是连续变量。表中的两个规范形式（与 $a_0$ 和 $a_1$ 相关）都是加权高斯分布：
- $\varphi(a_0) = 0.4 × N (X | 0; 1)$
- $\varphi(a_1) = 0.6 × N (X | 3; 4)$

图 14.4a 展示了这两个规范形式以及 $X$ 的边缘分布。显然，这个分布不是高斯分布，甚至不