33、贝叶斯学习：共轭先验与近似推理方法解析

贝叶斯学习：共轭先验与近似推理方法解析

1. 顺序贝叶斯学习中的后验分布更新

在单变量高斯模型的顺序贝叶斯学习中，后验分布会随着新数据样本的出现而逐步更新。样本均值 $\bar{x} n = \frac{1}{n} \sum {i=1}^{n} x_i$ 。从相关示例可知，随着观测数据增多，后验分布会变得越来越尖锐，这是因为从公式中可以看出，当 $n \to \infty$ 时，方差 $\tau_n^2 \to 0$ 。这表明观察更多数据样本后，我们对模型参数的确定性增加。而且，最大后验（MAP）估计 $\mu_{MAP} = \nu_n$ 在 $n \to \infty$ 时会收敛到最大似然估计 $\mu_{MLE} = \bar{x}_n$ 。

2. 共轭先验

虽然贝叶斯学习遵循简单的乘法规则，但由于潜在似然函数的复杂性以及重归一化中积分的难解性，后验分布可能比先验分布复杂得多。不过，在某些情况下，如果选择合适的先验分布，后验分布会与先验分布具有相同的函数形式，只是参数有所更新。这种先验分布被称为潜在生成模型的共轭先验。

常见的 e - 族生成模型的共轭先验如下表所示：
| 模型 $p(x|\theta)$ | 共轭先验 $p(\theta)$ |
| — | — |
| 一维高斯（已知方差） $N(x | \mu, \sigma_0^2)$ | 一维高斯 $N(\mu | \nu, \tau^2)$ |
| 一维高斯（已知均值） $N(x | \mu_0, \sigma^2)$ | 逆伽马分布 $\text{gamma}^{-1}(\sigma^2 | \alpha, \beta)$ |