10、树结构中的高效推理

树结构中的高效推理

1. 引言

在机器学习及相关领域，我们常常会处理包含数百个变量的分布。一般情况下，推理的计算成本非常高。因此，了解哪些图形结构可以进行低成本推理，对于构建易于计算的模型十分有用。本文将探讨树结构中的推理，这种结构与计算机科学（动态规划）到物理学（转移矩阵方法）等多个领域的经典算法相关。

2. 边际推理

给定一个分布 $p(x_1, \ldots, x_n)$，推理是计算该分布函数的过程。边际推理关注的是计算变量子集的分布，可能会以另一个子集为条件。例如，给定联合分布 $p(x_1, x_2, x_3, x_4, x_5)$ 和证据 $x_1 = tr$，边际推理计算为：
$p(x_5|x_1 = tr) \propto \sum_{x_2,x_3,x_4} p(x_1 = tr, x_2, x_3, x_4, x_5)$

离散模型的边际推理涉及求和，这将是我们讨论的重点。原则上，这些算法可以应用于连续变量模型，但大多数连续分布在边际化下缺乏封闭性（高斯分布是一个显著的例外），这使得将这些算法直接转移到连续域可能会有问题。这里的重点是单连通结构中边际推理的高效算法。

2.1 马尔可夫链中的变量消除和消息传递

高效推理的一个关键概念是消息传递，其中图的信息由局部边信息总结。考虑四变量马尔可夫链：
$p(a, b, c, d) = p(a|b)p(b|c)p(c|d)p(d)$

假设每个变量的域为 ${0, 1}$，计算边际 $p(a = 0)$。一种简单的方法是对变量 $b$、$c$ 和 $d$ 的 $2 \times 2 \times 2 = 8$ 种状态