23、贝叶斯统计：模型比较、假设检验与近似推断

贝叶斯统计：模型比较、假设检验与近似推断

1. 模型选择准则

在模型选择中，有多种准则可用于评估不同模型的优劣。其中一个重要的准则是 WAIC（Watanabe-Akaike Information Criterion），其计算公式为：
[WAIC(m) = -2LPPD(m) + 2C(m)]
通过这个准则，我们可以在高斯混合模型中选择合适的组件数量 K。

另一个基于信息理论的准则是最小描述长度（Minimum Description Length，MDL）。在信息传输场景中，发送者要将数据传达给接收者。首先，发送者需指定使用的模型 m，这需要 (C(m) = -\log p(m)) 比特的信息。然后，接收者通过计算 (\hat{\theta} m) 来拟合模型，从而近似重建数据。为了完美重建数据，发送者还需发送模型无法解释的残差误差，这需要 (-L(m) = -\sum {n} \log p(y_n|\hat{\theta}_m, m)) 比特的信息。总代价为 (J(m) = -L(m) + C(m))，选择使 (J(m)) 最小的模型就是 MDL 原则。

2. 贝叶斯假设检验

假设检验是模型选择的一种特殊情况，通常涉及两个模型：零假设 (M_0) 和备择假设 (M_1)。为了比较这两个模型，我们定义贝叶斯因子（Bayes factor）为边际似然比：
[B_{1,0} \triangleq \frac{p(D|M_1)}{p(D|M_0)} = \frac{p(M_1|D)}{p(M_0|D)} \big/ \frac{p(M_1)}{p(M_0)}]
贝叶斯因子允许我们比较不同复杂度的模