51、推理优化中的传播近似与变分分析

推理优化中的传播近似与变分分析

在推理优化的领域中，传播近似方法是一种重要的技术手段，但它也面临着诸多挑战，同时变分分析为其提供了理论上的支持和解释。下面我们将详细探讨这些内容。

超越边际概率的挑战与解决方案

在使用Bethe聚类图时，存在一个主要的局限性，即顶层不同聚类之间的信息是通过单变量边际分布传递的。这就导致在传播过程中，变量之间的相互作用会丢失。例如，在图11.7a的示例中，假设C1在B和C之间创建了强依赖关系，而这两个变量又被C2共享。然而，两个聚类之间的消息是通过单变量因子传递的，因此一个聚类引入的相互作用无法直接传播到另一个聚类。

为了解决这个问题，一种可能的解决方案是合并一些大的聚类。比如，若要捕捉图11.7a中C1和C2之间的相互作用，可以用一个包含A、B、C、D的聚类来替代它们。这个新的聚类能够捕捉这两个聚类中因子之间的相互作用，但这种修改是有代价的，因为处理聚类的成本会随着其范围呈指数级增长。而且，在这种情况下，这种方法似乎有些过度，因为我们可以简单地使用B和C的分布来总结这些相互作用，这就启发了图11.7b的构建。

我们可以尝试推广这种构建方式，一个合理的目标是捕捉所有的成对相互作用。可以采用类似于Bethe近似的构建方法，但引入一个包含成对聚类的中间层。例如，对于因子C1 = {A, B, C}、C2 = {B, C, D}和C3 = {A, C, D}，相关的成对因子{B, C} = C1 ∩ C2、{C, D} = C2 ∩ C3和{A, C} = C1 ∩ C3。得到的聚类图如图11.8a所示，但这个聚类图不满足运行交集属性，所有边都标记为C，它们一起形成了一个循环，导致关于C的信息会在循环中无限传播，从而在结果中“过度计算”