27、贝叶斯网络学习、分类及相关概率图模型变体

贝叶斯网络学习、分类及相关概率图模型变体

1. 贝叶斯网络学习基础

贝叶斯网络由表示一组条件独立性的图和一组条件概率分布定义。从数据中学习贝叶斯网络，就是要从数据集中找到图（即结构）和这些条件分布的参数。贝叶斯网络既可以作为生成模型，也可以作为判别模型（针对特定目标变量）。学习这样的模型可能会因使用专门的分类结构或在学习过程中要优化的特定目标函数而有所不同。

假设贝叶斯网络的变量是离散的，且用于学习的数据是完整、独立且同分布的。

2. 参数学习

当贝叶斯网络的图已知（通过假设或已从数据中学习得到）时，学习贝叶斯网络的目标是估计与每个随机变量 $X_i$ 在其父节点 $pa(X_i)$ 上下文中相关的条件概率分布。

• 统计学习 ：
  最简单的统计估计方法是最大似然估计（ML）：
  $\hat{\theta} {ML {i,j,k}} = \frac{N_{i,j,k}}{\sum_{k} N_{i,j,k}}$
  其中 $N_{i,j,k}$ 是数据集中事件 ${X_i = x_k \text{ 且 } pa(X_i) = x_j}$ 的数量。即变量 $X_i$ 取值为 $x_k$ 且 $X_i$ 的父节点 $pa(X_i)$ 取值为 $x_j$ 的次数。这里结构是已知的。

• 贝叶斯学习 ：
  当训练数据集较小时，或者当有关于参数值的专家知识时，贝叶斯估计方法（如贝叶斯最大后验（MAP）或后验期望（APE））似乎更合适。这些方法需要对要估计的参数定义先