93、贝叶斯网络中的贝叶斯参数估计

贝叶斯网络中的贝叶斯参数估计

1. 贝叶斯估计基础

在贝叶斯估计中，先验分布的强度和均值对后验估计有着重要影响。以一个有偏硬币的样本数据集为例，该数据集理想化地设定正面出现频率为 0.2，即对于给定大小为 M 的数据集 D，其中包含 0.2M 个正面和 0.8M 个反面。

通过图 17.5 可以直观地看到：
- 图（a）展示了在固定先验强度 α 时，改变先验均值 θ′₁、θ′₀ 对后验估计的影响。
- 图（b）展示了在固定先验均值 θ′₁ = θ′₀ = 0.5 时，改变先验强度对后验估计的影响。

当更新估计时，α 的大小会影响平滑效果。例如：
- 当 α 较小时，如 1.5/4 = 0.375，更新后估计的变化相对较小。
- 当 α 较大时，平滑效果更明显。如 α = 5 时，观察到正面后估计为 4.5/8 = 0.5625，观察到反面后估计为 3.5/8 = 0.4375。

这种平滑效果在数据不足时能得到更稳健的估计。如果有先验知识，可以利用它；若没有先验知识，可使用均匀先验避免估计值取极端值。因为极端估计（某些参数接近 0）可能会对后续观察到的新实例分配过小的概率，而概率估计为 0 是危险的，因为任何证据都无法改变它。相比之下，最大似然估计（MLE）常常对训练数据中未观察到的值分配概率 0。

2. 贝叶斯网络中的贝叶斯估计

在贝叶斯网络的背景下进行贝叶斯估计时，需要指定未知参数和数据实例的联合分布，这个联合分布可以理解为一个贝叶斯网络。

2.1 参数独立性和全局分解

• 简单示例