59、确定性近似推理技术详解

确定性近似推理技术详解

1. 引言

在近似推理领域，采样方法广为人知且应用普遍。不过，还有一类不太被大众熟知的确定性近似技术，它们在信息科学的多个分支中取得了显著的成功，并且很多起源于大规模物理系统的研究。

确定性近似推理方法是第27章所讨论的采样技术的替代方案。精确独立采样通常在计算上难以实现，而且评估样本估计的质量也颇具挑战。接下来将介绍几种替代方法：
- 拉普拉斯方法 ：这是一种简单的扰动技术。
- 边界方法 ：能为感兴趣的量提供严格的边界。这种方法很有价值，因为它能提供确切的信息，例如，为了做出明智的决策，只要证明边际概率大于0.1就可能足够了。
- 一致性方法 ：像循环信念传播等。这类方法彻底改变了某些领域，包括纠错领域。

需要明确的是，在相同的计算资源下，没有一种单一的近似技术（无论是确定性的还是随机的）能在所有问题上都优于其他技术。因此，了解各种近似方法的特性，有助于为当前问题选择合适的近似方法。

2. 拉普拉斯近似

考虑一个连续变量的分布，其形式为：
[p(x) = \frac{1}{Z} e^{-E(x)}]
拉普拉斯方法基于围绕模式 (x^ ) 的局部扰动展开，对 (p(x)) 进行高斯近似。具体步骤如下：
1. 确定模式 ：通过数值方法找到 (E(x)) 的最小值点，即
[x^ = \arg\min_x E(x)]
2. 进行泰勒展开