30、贝叶斯模型评估与假设检验

贝叶斯模型评估与假设检验

1. 数据与模型似然

在数据分析中，我们常常会遇到带有噪声的数据。例如，有一组数据是从一个包含 5 个分量的模型中生成的，并且添加了标准差为 0.5 的高斯噪声。相关的数据展示如下：

−10
−5
0
5
10
−3
−2
−1
0
1
2
3

对于一个具有连续参数向量 $\theta$（维度为 $K$）和数据 $D$ 的模型，其模型似然可以通过以下公式计算：
$p(D|M) = \int p(D|\theta, M)p(\theta|M)d\theta$

一般情况下，$p(D|\theta, M)p(\theta|M) = \exp (-f (\theta))$。当 $f$ 不是特别简单的形式（例如 $\theta$ 的二次形式），并且 $K$ 较大时，上述积分是高维的，无法精确计算。因此，在实际应用贝叶斯模型比较方法时，通常需要对模型似然进行近似。

2. 模型似然的近似方法

2.1 拉普拉斯方法

拉普拉斯方法是对模型似然积分的一种简单近似。它首先找到后验的最优值 $\theta^ $，然后基于该点的局部曲率拟合一个高斯分布，得到：
$\log p(D|M) \approx \log p(D|\theta^ , M) + \log p(\theta^ |M) + \frac{1}{2} \log \det(2\pi H^{-1})$
其中，$\theta^ $ 是最大后验（MAP）解：
$\thet