94、贝叶斯网络中的参数估计与共享参数学习

贝叶斯网络中的参数估计与共享参数学习

在贝叶斯网络的参数估计领域，我们会遇到多种情况和方法，下面将详细介绍贝叶斯参数估计、最大后验估计（MAP）以及共享参数学习等内容。

贝叶斯参数估计相关问题

在贝叶斯网络中，对于多项式条件概率分布（CPD）的贝叶斯估计，我们有封闭形式的解来进行贝叶斯预测，因此能高效执行。然而，在许多其他表示中，情况并非如此简单。

例如，在噪声或模型（noisy - or model）或逻辑CPD（如第5.4.2节所讨论的）中，我们没有共轭先验或贝叶斯积分的封闭形式解，此时贝叶斯预测需要对高维积分进行数值求解。而在线性高斯CPD中，虽然有共轭先验（正态 - 伽马分布），但我们可能更倾向于其他具有理想性质的先验，如第20.4.1节描述的稀疏诱导拉普拉斯先验。

最大后验估计（MAP）

当完整的贝叶斯解决方案不切实际时，我们可以采用最大后验估计（MAP）。在MAP估计中，我们寻找使后验概率最大化的参数，即：
$\tilde{\theta} = \arg \max_{\theta} \log P(\theta | D)$

当数据量很大时，后验分布通常会在其最大值$\tilde{\theta}$附近急剧峰值。此时，积分
$P(X[M + 1] | D) = \int P(X[M + 1] | \theta)P(\theta | D)d\theta$
大约等于$P(X[M + 1] | \tilde{\theta})$。

更一般地，我们可以将MAP估计视为一种利用先验对似然函数进行正则化的方法：
$\arg \max_{\theta} \log P(\