3、结构化概率模型与概率图模型框架

结构化概率模型与概率图模型框架

1. 结构化概率模型

1.1 图作为分布表示的视角

图可以作为紧凑表示高维分布的骨架。我们无需对领域内所有变量的每一种可能赋值的概率进行编码，而是可以将分布“分解”为更小的因子，每个因子涵盖的可能性空间要小得多。然后，将整体的联合分布定义为这些因子的乘积。

例如，对于事件“春天，无流感，有花粉症，鼻窦堵塞，肌肉疼痛”，其概率可以通过将五个数值相乘得到：P(季节 = 春天)、P(流感 = 否 | 季节 = 春天)、P(花粉症 = 是 | 季节 = 春天)、P(堵塞 = 是 | 花粉症 = 是，流感 = 否)以及P(肌肉疼痛 = 是 | 流感 = 否)。这种参数化方式更为紧凑，仅需3 + 4 + 4 + 4 + 2 = 17个非冗余参数，而原始联合分布需要63个非冗余参数（第64个参数由其他参数完全确定，因为联合分布中所有项的总和必须为1）。图结构定义了与其相关的分布P的因子分解，即因子集合及其所包含的变量。

1.2 两种视角的等价性

图作为一组独立性的表示，以及图作为分布因子分解的骨架，这两种视角在深层次上是等价的。分布的独立性属性使得它能够以因子分解的形式进行紧凑表示；反之，分布的特定因子分解保证了某些独立性的成立。

1.3 两种图形表示家族

• 贝叶斯网络 ：使用有向图（边有源节点和目标节点）。
• 马尔可夫网络 ：使用无向图。

这两种表示都体现了独立性和因子分解的双重性，但它们在所能编码的独立性集合以及所诱导的分布因