36、贝叶斯网络：原理、学习与推理算法

贝叶斯网络：原理、学习与推理算法

1. 用贝叶斯网络表示生成模型

在机器学习中，图形模型的一个重要用途是直观地表示许多生成模型，通过图形展示各种随机变量的潜在依赖结构。贝叶斯网络的基本规则是用节点表示随机变量，有向链接表示变量之间的条件分布。同时，需要明确区分“观察到的”和“缺失的”（即潜在变量）两种类型的节点。

1.1 多元高斯模型

多元高斯模型可以用贝叶斯网络表示。如图所示，高斯模型可以由一些不相连的节点组成的贝叶斯网络表示，每个节点代表一个独立同分布（i.i.d.）的数据样本 $x_i$，所有节点都用蓝色阴影表示，表明它们代表观察到的随机变量。每个节点的分布由高斯模型指定为 $p(x_i) = N(x_i | µ, Σ)$，其中 $i = 1, 2, \cdots, N$。在实际应用中，通常采用紧凑的板块符号来简化贝叶斯网络。

此外，还可以使用贝叶斯网络来表示具有已知协方差矩阵 $Σ_0$ 的高斯模型的贝叶斯学习。在这种情况下，需要添加一个新节点来表示未知的高斯均值向量 $µ$，该节点不阴影表示它在贝叶斯学习中是未观察到的，即潜在变量。在这个贝叶斯网络中，为 $µ$ 节点指定先验分布 $p(µ)$，有向链接表示条件分布 $p(x_i | µ) = N(x_i | µ, Σ_0)$。根据贝叶斯网络的规则，这种结构意味着联合分布的分解方式为：
$p(µ, x_1, \cdots x_N) = p(µ) \prod_{i=1}^{N} p(x_i|µ)$

1.2 高斯混合模型（GMM）

对于具有 $M$ 个高斯分量的高斯混合模型，为每个数据样本 $x_i$ 引入一个 $1 - of - M$ 的潜在变量