8、概率图模型：理论与应用深度解析

概率图模型：理论与应用深度解析

1. 概率图模型概述

概率在现代模式识别中占据核心地位，所有概率推理和学习操作本质上都是对概率的求和规则与乘积规则的反复运用。概率图模型作为一种强大的工具，以图形化方式表示概率分布，具有诸多显著优势：
- 可视化结构 ：能直观呈现概率模型的结构，助力设计与启发新模型。
- 洞察模型属性 ：通过观察图形，可深入了解模型的条件独立性等属性。
- 简化复杂计算 ：将复杂的推理和学习计算转化为图形操作，隐式处理底层数学表达式。

概率图模型主要分为贝叶斯网络（有向图模型）和马尔可夫随机场（无向图模型）。有向图适用于表达随机变量间的因果关系，无向图则更擅长表达随机变量间的软约束。为解决推理问题，常将有向图和无向图转化为因子图。

2. 贝叶斯网络

贝叶斯网络，即有向图模型，通过对联合分布进行分解来描述概率分布。以三个变量 (a)、(b)、(c) 的联合分布 (p(a, b, c)) 为例，依据概率乘积规则，可将其分解为 (p(a, b, c) = p(c|a, b)p(b|a)p(a)) ，并可用简单的有向图表示。

对于 (K) 个变量的联合分布 (p(x_1, \ldots, x_K)) ，同样可分解为条件分布的乘积 (p(x_1, \ldots, x_K) = p(x_K|x_1, \ldots, x_{K - 1}) \ldots p(x_2|x_1)p(x_1)) ，对应的有向图为全连接图。不过，图中缺少的链接蕴含着重要信息，例如图 8.2 所示的图并非全连接图，其对应