2、概率图模型：表示、推理与学习

概率图模型：表示、推理与学习

1. 引言

概率图模型是一种优雅的框架，它将不确定性（概率）和逻辑结构（独立性约束）相结合，以紧凑的方式表示复杂的现实世界现象。许多常见的统计模型，如卡尔曼滤波器、隐马尔可夫模型和伊辛模型，都可以描述为图模型。图模型在过去二十年中受到了广泛关注，这得益于其表示的灵活性和强大性，以及在大型网络中有效学习和执行推理的能力。

图模型主要有两种类型：贝叶斯网络（也称为信念网络或因果网络）和马尔可夫网络（也称为马尔可夫随机场）。我们的目标是有效地表示一组随机变量 $X = {X_1, \ldots, X_n}$ 上的联合分布 $P$。即使在最简单的情况下，即这些变量是二进制值，联合分布也需要指定 $2^n$ 个数字。然而，通常分布中存在一些结构，允许我们将分布的表示分解为模块化组件。图模型利用的结构是许多现实世界现象中存在的独立性属性。

2. 表示

2.1 条件独立性

条件独立性是图模型表示的基础。设 $X$、$Y$ 和 $Z$ 是随机变量集合，在分布 $P$ 中，如果对于所有 $x \in Val(X)$、$y \in Val(Y)$ 和 $z \in Val(Z)$，都有 $P(X = x, Y = y | Z = z) = P(X = x | Z = z)P(Y = y | Z = z)$，则称 $X$ 在给定 $Z$ 的条件下与 $Y$ 独立，记为 $(X \perp Y | Z)$。

2.2 贝叶斯网络

贝叶斯网络的核心是有向无环图（DAG）$G$，图中的节点是随机变量，边直观地表示一个节点对另一个节点的直接影响。每个随机变量 $X_i$ 都有一个相关的条件概