76、混合网络中的推理：从理论到实践

混合网络中的推理：从理论到实践

线性高斯网络推理算法适应性

在推理算法的应用中，我们发现可以将精确推理算法应用于线性高斯网络。在CTree - SP - Upward算法里，当调用SP - Message时，边缘化操作是明确定义的。这是因为在消息传递过程中，相关矩阵的子矩阵特性保证了边缘化操作的可行性。具体来说，设发送消息前团内构建的因子为ψ(Ci)，其关联的规范形式为C (Ci; K, h, g)，当Ci为团树计算的根时得到的最终团势为βi(Ci) = C (Ci; K′, h′, g′) ，二者的差异仅在于后者包含了来自Cj的消息δj→i。设Y = Cj − Si,j为消息计算时被边缘化的变量，根据运行交集属性，Y中的变量不在分隔集Si,j的范围内，所以消息δj→i不涉及Y中的变量。通过对相关公式的验证可知，用不涉及Y的因子乘以规范形式不会改变矩阵K中与Y变量相关的元素，即KY Y = K′Y Y 。由于最终团势βi(Ci)是其（未归一化的）边缘后验，是可归一化的高斯分布，矩阵K′是正定的，所以子矩阵K′Y Y 也是正定的，进而KY Y 是正定的，这就保证了边缘化操作是明确定义的。

基于此，我们可以将精确推理算法应用于线性高斯网络，算法本质上不变，只是因子的表示和基本因子操作的实现有所不同。由于所有因子操作都可以在多项式时间内完成，线性高斯网络的推理复杂度与团的数量呈线性关系，且最大团的大小最多为立方复杂度。相比之下，离散网络中表格因子的表示本身在范围上是指数级的，导致推理复杂度为指数级。

下面我们对比一下团树推理算法和简单生成联合高斯分布并进行边缘化的朴素方法：
| 方法 | 操作步骤 | 复杂度 | 适用场景 |
| ---- | ---- | ---