72、MAP推断：线性优化与图割算法解析

MAP推断：线性优化与图割算法解析

1. MAP问题的线性规划视角

将MAP问题转化为线性优化问题时，多面体是一个复杂的对象，往往需要指数级数量的约束条件来进行描述，这使得直接进行优化变得不可行。不过，通过放松版本得到的优化问题具有线性目标和线性约束，并且涉及的项数与簇图的大小呈线性关系。这样的线性规划问题存在一系列高效的解决方案，包括具有多项式时间保证的方法，我们可以采用现成的方法来解决此类问题。

然而，线性规划（LP）公式既有优点也有缺点。优点在于它为解决问题提供了一个非常灵活的框架，我们可以轻松地将额外的约束条件纳入LP中，从而减少可能的赋值空间，排除一些不符合实际分布的解。但缺点也很明显，在这个约束空间上定义的优化问题规模通常非常大，使得标准的优化方法计算成本高昂。虽然LP具有特殊的结构，例如等式约束在矩阵形式下具有与相邻簇结构对应的特定块结构，并且当马尔可夫随机场（MRF）不是密集连接时，约束矩阵也是稀疏的，但标准的LP求解器可能无法充分利用这种特殊结构。因此，专门针对MAP问题的解决方案通常比使用现成的LP求解器更有效。

2. 低温极限下的算法关联

2.1 LP作为和积算法的极限

能量泛函定义为：
[F[P_{\Phi}, Q] = \sum_{\varphi_r \in \Phi} \mathbb{E} {C_r \sim Q}[\log \varphi_r(C_r)] + \tilde{I}_H^Q(X)]
其中(\tilde{I}_H^Q(X))是(Q)的熵的某种（精确或近似）版本。能量项可以重写为：
[\sum {r \in R} \sum_{j = 1}^{n