36、贝叶斯网络：原理、学习与推理

贝叶斯网络：原理、学习与推理

1. 用贝叶斯网络表示生成模型

在机器学习中，图形模型的一个重要用途是直观地表示许多生成模型，以明确展示各种随机变量的潜在依赖结构。贝叶斯网络的基本规则是用节点表示随机变量，用有向链接表示变量之间的条件分布。需要注意区分“观察到的”和“缺失的”（即潜在变量）两种类型的节点。

1.1 多元高斯模型

• 如图 1 所示，高斯模型可以用一些不相连的节点组成的贝叶斯网络表示，每个节点代表一个独立同分布（i.i.d.）的数据样本 $x_i$，节点用蓝色阴影表示观察到的随机变量，每个节点的分布为 $p(x_i) = N(x_i | µ, Σ)$，$i = 1, 2, \cdots, N$。
• 实际中，通常采用图 2 所示的紧凑板符号来简化图 1 中的贝叶斯网络，板符号表示相同网络结构的 N 次重复。
• 还可以用图 3 所示的贝叶斯网络表示具有已知协方差矩阵 $Σ_0$ 的高斯模型的贝叶斯学习。需要添加一个未阴影的节点表示未知的高斯均值向量 $µ$，将其视为潜在变量。该网络中，$µ$ 节点有先验分布 $p(µ)$，有向链接表示条件分布 $p(x_i | µ) = N(x_i | µ, Σ_0)$，联合分布的分解形式为：
  [p(µ, x_1, \cdots x_N) = p(µ) \prod_{i=1}^{N} p(x_i|µ)]

1.2 高斯混合模型（GMM）

• 对于具有 M 个高斯分量的 GMM，为每个数据样本 $x_i$ 引入一个 1 - of - M 的潜在变量 $z_i$，表示 $x_i$ 所属的分量。$z_i$ 可以取