11、概率图模型中的推理算法详解

概率图模型中的推理算法详解

1. 循环图带来的问题

在概率图模型中，循环结构会给变量消除或消息传递技术带来挑战。当消除一个变量时，图的结构通常会发生改变。例如，考虑如下因子图：
[p(a, b, c, d) = f_1 (a, b) f_2 (b, c) f_3 (c, d) f_4 (a, d)]
其边际概率 (p(a, b, c)) 为：
[p(a, b, c) = f_1 (a, b) f_2 (b, c) \sum_{d} f_3 (c, d) f_4 (a, d) = f_1 (a, b) f_2 (b, c) f_5(a,c)]
这里消除变量 (d) 后，在“截肢”图中添加了一条连接 (a) 和 (c) 的边。这意味着不能仅仅通过更新原始图中边上的势来考虑变量 (d) 的信息，而需要考虑图结构的变化。

2. 其他形式的推理

2.1 最大积算法（Max - product）

在很多情况下，我们关心的是分布的最可能状态，即：
[\text{argmax}_{x_1,x_2,\cdots,x_n} p (x_1, x_2, \cdots, x_n)]
对于树结构，我们可以利用分布的因式分解结构，类似于和积算法，将最大化操作分布，使只需要进行局部计算。

以一个可以表示为无向链的函数为例：
[f (x_1, x_2, x_3, x_4) = \varphi(x_1, x_2)\varphi(x_2, x_3)\varphi(x_3, x_4)]
我们要找到使 (f) 最大化的联合状态 (x_1^ , x_2^ , x_3^