52、推理优化中的熵近似方法解析

推理优化中的熵近似方法解析

在推理优化领域，熵近似是一个重要的研究方向。我们可以通过改进目标函数使其更接近真实能量泛函，或者收紧约束条件让约束空间更接近精确的边缘多面体，从而实现更好的近似效果。接下来，我们将深入探讨其他熵近似方法。

1. 动机与Bethe近似

为了理解通用框架，我们先来看Bethe近似下的因子化能量泛函形式。在Bethe近似图中，存在两层结构：一层是对应于因子集Φ中因子的簇，另一层是单变量簇。当簇图校准后，这些单变量簇与第一层因子之间的分隔集具有相同的分布。基于此，我们可以将所有以X标记的分隔集的熵项与相关的单变量簇组合起来，重写能量泛函。

若Q = {βφ : φ ∈Φ} ∪{βi(Xi)}是Bethe簇图U的一组校准信念，其中簇为{Cφ : φ ∈Φ} ∪{Xi : Xi ∈X}，则有：
(\tilde{F}[\tilde{P} \Phi, Q] = \sum {\varphi\in\Phi} I_{E_{Scope[\varphi]\sim\beta_\varphi}}[\ln\varphi] + \sum_{\varphi\in\Phi} I_{H_{\beta_\varphi}(C_\varphi)} - \sum_{i} (d_i - 1)I_{H_{\beta_i}(X_i)})
其中，(d_i = |{\varphi : X_i \in Scope[\varphi]}|) 是包含 (X_i) 的因子数量。

这个公式等价于因子化能量泛函的条件是Q被校准。它实际上是统计力学中Bethe自由能的负值，而我们之前讨论的Bethe簇图正是为匹配Bethe自由能泛函而设计的。