92、贝叶斯网络参数估计方法解析

贝叶斯网络参数估计方法解析

1. 非参数条件概率分布（CPD）估计

在某些情况下，我们可以使用非参数方法来估计条件概率分布（CPD），避免对数据做出特定的参数假设。其中一种方法是基于核函数的估计。

核函数可以有多种选择，只要它定义了一个概率测度（非负且积分值为 1），那么得到的局部联合分布 $\tilde{p}_X(x, u)$ 也是一个概率测度。通常，我们会选择局部核函数，即把大部分概率质量集中在其参数附近。这样，在我们观察到很多数据实例 $(x[m], u[m])$ 的区域，得到的密度 $\tilde{p}_X(x, u)$ 会有较高的概率质量；而在我们没有观察到数据的区域，概率质量则较低。

我们可以将这个局部联合分布重新表述为条件分布：
[p(x | u) = \frac{\sum_m K(x, u; x[m], u[m], \alpha)}{\sum_m K(u; u[m], \alpha)}]
其中，$K(u; u[m], \alpha)$ 是 $K(x, u; x[m], u[m], \alpha)$ 对 $x$ 进行边缘化后的结果。

这种学习过程几乎不需要估计参数，CPD 直接从训练实例中推导得出。唯一的自由参数是 $\alpha$，它表示窗口的宽度。需要注意的是，这个参数不能使用最大似然估计，因为使训练集似然最大化的 $\alpha$ 值为 0，这会使训练实例本身具有最大密度，但这样只是简单地记住了训练实例，没有任何泛化能力。因此，通常使用交叉验证来选择这个参数。

学到的 CPD 本质上是训练实例的列表，它既有优点也有缺点：
- 优点 ：估计非常灵活，能够根