13、联合树算法：高效推理的关键结构

联合树算法：高效推理的关键结构

在概率图模型中，当分布为多重连接时，拥有一种能有效复用消息的通用推理方法至关重要。联合树算法（Junction Tree Algorithm，JTA）就是这样一种重要的结构，它通过对变量进行聚类，使得消息传递能够高效进行，尽管消息传递所基于的结构可能包含难以处理的大聚类。

1. 变量聚类

在单连接图的情况下，变量消除和消息传递方案是进行高效推理的合适方法。但在多重连接的情况下，通常不能仅通过沿图中现有链接传递消息来进行推理。联合树算法的核心思想是形成图的一种新表示，将变量聚类在一起，从而在聚类变量上形成单连接图（尽管是在不同的图上）。

需要明确的是，JTA并非解决多重连接图带来的难处理问题的神奇方法，它只是通过将多重连接图转换为单连接结构来进行正确推理的一种方式。在得到的联合树上进行推理仍然可能在计算上难以处理。例如，一般二维Ising模型的联合树表示是一个包含所有变量的单个超级节点，此时推理的复杂度随变量数量呈指数级增长。然而，即使在实现JTA可能难以处理的情况下，JTA也能为分布的表示提供有用的见解，可作为近似推理的基础。

1.1 重新参数化

考虑一个链式分布：
[p(a, b, c, d) = p(a|b)p(b|c)p(c|d)p(d)]
根据条件概率的定义，可将其重新表示为：
[p(a, b, c, d) = \frac{p(a, b)}{p(b)}\frac{p(b, c)}{p(c)}\frac{p(c, d)}{p(d)}p(d) = \frac{p(a, b)p(b, c)p(c, d)}{p(b)p(c)}]
可以发现，该分布可以写成边际分布的乘