97、贝叶斯网络参数估计全解析

贝叶斯网络参数估计全解析

1. 引言

在贝叶斯网络的学习中，参数估计是一个基础且关键的任务。当数据完整时，参数估计相对简单，但它为后续更具挑战性的学习问题奠定了基础。本文将深入探讨贝叶斯网络参数估计的相关内容，包括最大似然估计（MLE）和贝叶斯预测两种方法，以及它们的理论基础和应用。

2. 最大似然估计与贝叶斯估计概述

在贝叶斯网络参数估计中，有两种主要的方法：最大似然估计（MLE）和贝叶斯预测。这两种方法的核心概念都是似然函数，它描述了数据的概率如何依赖于参数的选择。

对于贝叶斯网络，似然函数具有一个重要性质：它可以分解为各个变量的局部似然函数的乘积。如果使用表格条件概率分布（table - CPDs），似然函数还可以进一步分解为各个多项分布 $P(X | pa_{X_i})$ 的似然函数的乘积。这种分解对于最大似然估计和贝叶斯估计都非常重要，因为它允许我们将估计问题分解，分别处理每个CPD或每个多项分布。

3. 局部似然与充分统计量

当局部似然具有充分统计量时，学习可以看作是将统计量的值映射到参数的过程。对于具有离散变量的网络，这些统计量是形式为 $M[x_i, pa_{X_i}]$ 的计数。学习需要为 $X_i$ 的每个值 $x_i$ 及其父节点的每个实例化 $pa_{X_i}$ 收集这些计数。我们可以使用一个与网络表示大小成比例的数据结构，在一次遍历数据的过程中收集所有这些计数，因为每个CPD条目需要一个计数器。

收集到充分统计量后，两种方法的估计结果相似。对于表格CPDs，最大似然估计具有简单的封闭形式：
$\hat{\theta} {x_i|pa {