22、贝叶斯统计中的经验先验与模型比较

贝叶斯统计中的经验先验与模型比较

1. 经验先验

在贝叶斯统计中，层次贝叶斯方法可用于从数据中推断参数，但这类模型的后验推断在计算上颇具挑战。经验贝叶斯（Empirical Bayes，EB）是一种计算便捷的近似方法。其步骤如下：
1. 计算超参数的点估计 $\hat{\varphi}$，通过最大化边际似然来实现，即：
- $\hat{\varphi} {mml}(D) = \arg\max {\varphi} p(D|\varphi) = \arg\max_{\varphi} \int p(D|\theta)p(\theta|\varphi)d\theta$
- 这种技术被称为二类最大似然（type II maximum likelihood），因为我们优化的是超参数而非参数。
2. 以常规方式计算条件后验 $p(\theta|\hat{\varphi}, D)$。

由于是从数据中估计先验参数，经验贝叶斯违背了先验应独立于数据选择的原则，但可视为全层次贝叶斯模型推断的一种低成本近似。不同方法的定义如下表所示：
| 方法 | 定义 |
| — | — |
| 最大似然 | $\hat{\theta} = \arg\max_{\theta} p(D|\theta)$ |
| MAP 估计 | $\hat{\theta} = \arg\max_{\theta} p(D|\theta)p(\theta|\varphi)$ |
| ML - II（经验贝叶斯） | $\hat{\varphi} = \arg\max_{\varphi} \int p(D|\theta)p(\theta|\varph