55、大规模图模型中的近似推理方法

大规模图模型中的近似推理方法

在大规模图模型的推理中，传统方法可能面临计算复杂度高的问题。为了解决这些问题，我们可以采用近似推理的方法，其中包括使用近似消息传播、结构化变分近似等技术。

近似消息传播

近似消息传播是一种替代方法，它不修改推理对象的全局结构，而是修改消息的结构和计算方式。这种方法可以应用于团树和簇图。

适用的分布类型

• 期望传播算法可以应用于线性指数族中能有效计算期望充分统计量和M投影操作的分布类。
• 马尔可夫网络属于线性指数族，但缺乏有效的M投影过程，因此一般马尔可夫网络结构不常用于期望传播算法中表示消息。
• 贝叶斯网络不属于线性指数族，虽然M投影操作可解析实现，但期望传播更新规则存在问题，因为在更新规则中参数相减可能导致结果不是合法分布。
• 最常用的分布类是低树宽弦图，这类图既是贝叶斯网络又是马尔可夫网络，既在线性指数族中，又允许有效的M投影操作。

变分分析

为期望传播定义变分原理时，我们考虑一个由一组伪边缘组成的近似Q，并使用相同的能量泛函 ˜F[ ˜PΦ, Q]。与簇图信念传播不同的是，当前近似中簇树未校准。

当期望传播信念更新传播迭代到收敛时，我们可以得到以下结论：
- 对于相邻的两个簇i和j，M - projecti,j(IESi,j∼˜βi[τi,j]) = θ˜δi→j + θ˜δj→i 。
- 我们可以将问题表述为优化与CTree - Optimize相同的目标，但用期望一致性约束代替原约束方程：IESi,j∼µi,j[τi,j] = IESi,j∼β