19、共轭先验：贝叶斯统计中的高效计算方法

共轭先验：贝叶斯统计中的高效计算方法

1. 引言

在贝叶斯统计中，后验分布的计算是核心问题之一。然而，在许多情况下，后验分布的计算可能非常复杂。共轭先验为解决这一问题提供了一种有效的方法。当我们使用与似然函数“共轭”的先验时，可以以封闭形式计算后验，大大简化了计算过程。本文将详细介绍两种常见的共轭先验模型：beta - 二项式模型和Dirichlet - 多项式模型。

2. 后验分布的近似与可视化

在某些情况下，后验分布可能以样本集的形式表示，而非可直接抽样的显式参数分布。此时，我们常使用核密度估计（KDE）将一维边缘分布或二维联合分布可视化为平滑分布。例如，对于$p(\mu, \sigma^2|D)$，其中$D = {y_n \sim N(\mu = 2, \sigma = 1) : n = 1 : 1000}$，使用扩散先验，可通过核密度估计得到近似结果。同时，我们可以通过以下公式计算分布的均值、方差和分位数：
- 均值：$E [Y ] \approx \frac{1}{S} \sum_{s = 1}^{S} y_s$
- 方差：$V [Y ] \approx \frac{1}{S} \sum_{s = 1}^{S} (y_s - \bar{y})^2$
- 分位数：$Pr(Y \leq c) \approx \frac{1}{S} |{y_s \leq c : s = 1 : S}|$

3. beta - 二项式模型

3.1 似然函数

假设我们抛硬币$N$次，$y_n = 1$表示第$n$次试验为正面，$y_n = 0$表示第$n$次试验为反面，$D = {y_n : n