80、混合网络推理中的非线性依赖与粒子近似方法

混合网络推理中的非线性依赖与粒子近似方法

1. 非线性依赖问题概述

在处理连续变量时，非线性依赖问题比离散变量更为复杂。当观察到变量 (X = x) 时，需要先验地将所有因子限制在 (X = x) 的空间中。对于规范形式，这种操作较为直接，但对于非线性函数则更为微妙。

例如，考虑非线性依赖 (X = g(Y_2, W))，其中 (g(Y_2, W)=\sqrt{y_1^2 + Y_2^2+\sigma W})。若有证据 (Y_1 = y_1)，可以轻松重新定义模型，但对于依赖变量 (X) 的证据处理则不那么清晰。

解决此问题的简单方法是在集群线性化后实例化证据。先将集群中的函数 (f) 线性化得到高斯分布 (p(X, Y_1, Y_2))，然后在与该分布相关的规范形式中实例化证据 (X = x)，得到与 (p(Y_1, Y_2 | x)) 成比例的新规范形式。然而，这种方法可能不准确，因为线性化操作依赖于分布 (p_0)，而后验分布可能与 (p_0) 差异很大。

2. 有效线性化

所有线性化程序都要求 (p_0) 是高斯分布，而非一般的规范形式。这一要求对集群图的结构、消息传递顺序以及概率模型本身都施加了约束。

以链结构的贝叶斯网络 (X_1 → X_2 → X_3) 为例，所有变量都有非线性条件概率分布（CPD）。在离散情况下，可以简单地用 (X_3) 的观察结果限制 (C_2) 中的因子，生成关于 (X_2) 的因子并传递给 (C_1)。但在非线性情况下，必须先线性化 (f_3)，这需要 (X_2) 的分布，而该分布需通过乘以 (p(X_1))、(p(X_2 | X_1)) 和 (p(X_3 | X_2)) 得到