22、贝叶斯网络：训练与推理全解析

贝叶斯网络：训练与推理全解析

1. 贝叶斯网络基础与训练问题

贝叶斯网络是一种强大的概率图模型，在给定特定模型结构后，一个重要的问题是如何从数据中估计模型参数。例如，已知一个模型结构和一组随机变量的观测值，怎样从训练数据中得到像条件概率表这样的信息呢？

1.1 模型参数估计视角

传统的参数估计方法将模型参数集 Θ 视为未知常数，试图根据训练数据 D 找到其具体值。而在贝叶斯模型中，我们把 Θ 本身当作随机变量，训练目标是找到 Θ 的值分布，而非单一值。具体来说，我们的目标是估计后验分布 (P(\Theta|D))，根据贝叶斯规则有：
[P(\Theta|D)=\frac{P(D|\Theta)P(\Theta)}{P(D)}]
其中，(P(\Theta)) 是 Θ 的先验分布，(P(D|\Theta)) 是数据似然，(P(D)) 是证据。先验分布能反映我们在看到训练数据之前的知识或经验，而后验分布则体现了看到证据后的最终信念。

1.2 三种参数估计方法

我们主要考虑三种估计 Θ 的方法：
- 最大似然估计（MLE） ：只关注似然 (P(D|\Theta))，通过最大化 (P(D|\Theta)) 来找到模型参数。在没有隐藏变量时，可使用相对频率计数；有隐藏变量时，可使用 EM 算法。
- 最大后验估计（MAP） ：同时考虑先验分布 (P(\Theta)) 和似然 (P(D|\Theta))，通过最大化 (P(\Theta|D)) 来找到模型参数。
- 贝叶斯估计 ：将参数