33、贝叶斯学习：共轭先验与近似推断

贝叶斯学习：共轭先验与近似推断

1. 顺序贝叶斯学习中后验分布的演变

在单变量高斯模型的顺序贝叶斯学习里，后验分布会随着新数据样本的出现而逐步更新。样本均值$\bar{x} n = \frac{1}{n} \sum {i=1}^{n} x_i$ 。随着观测数据增多，后验分布会越来越尖锐，从公式能看出方差$\tau_n^2 \to 0$（当$n \to \infty$），这意味着观察更多数据样本后，我们对模型参数的确定性增强。而且，最大后验概率（MAP）估计$\mu_{MAP} = \nu_n$会在$n \to \infty$时收敛到最大似然估计$\mu_{MLE} = \bar{x}_n$。

2. 共轭先验

虽然贝叶斯学习遵循简单的乘法规则，但由于潜在似然函数的复杂性以及重新归一化中积分的难解性，后验分布可能比先验分布复杂得多。不过，若选择合适的先验分布，能让后验分布与先验分布具有相同的函数形式，这种先验分布就称为潜在生成模型的共轭先验。

2.1 常见模型的共轭先验

| 模型 $p(x|\theta)$ | 共轭先验 $p(\theta)$ |
| — | — |
| 一维高斯（已知方差）$N(x | \mu, \sigma_0^2)$ | 一维高斯 $N(\mu | \nu, \tau^2)$ |
| 一维高斯（已知均值）$N(x | \mu_0, \sigma^2)$ | 逆伽马分布 $\text{gamma}^{-1}(\sigma^2 | \alpha, \beta)$ |
| 高斯（已知协方差）$N(x | \mu, \Sigma_0)$ | 高斯 $N(\mu