58、线性分类模型与贝叶斯逻辑回归详解

线性分类模型与贝叶斯逻辑回归详解

1. 拉普拉斯近似概述

在实际应用中，许多分布是多峰的，因此根据所考虑的峰不同，会有不同的拉普拉斯近似。拉普拉斯方法的一个重要特点是，在应用时不需要知道真实分布的归一化常数 (Z)。

根据中心极限定理，随着观测数据点数量的增加，模型的后验分布预计会越来越接近高斯分布。所以，拉普拉斯近似在数据点数量相对较多的情况下最为有用。

然而，拉普拉斯近似也存在一些局限性：
- 变量适用性 ：它基于高斯分布，因此仅直接适用于实变量。在其他情况下，可能需要对变量进行变换后再应用拉普拉斯近似。例如，如果 (0 \leq \tau < \infty)，可以考虑对 (\ln \tau) 进行拉普拉斯近似。
- 全局性质捕捉不足 ：它纯粹基于变量特定值处的真实分布特征，因此可能无法捕捉到重要的全局性质。

2. 模型比较与贝叶斯信息准则（BIC）

我们不仅可以对分布 (p(z)) 进行近似，还可以得到归一化常数 (Z) 的近似值。使用近似公式 (4.133)，我们有：
[
Z = \int f(z) dz \approx f(z_0) \int \exp \left{ -\frac{1}{2}(z - z_0)^T A (z - z_0) \right} dz = f(z_0) (2\pi)^{M/2} |A|^{-1/2}
]
其中，我们注意到被积函数是高斯分布，并使用了归一化高斯分布的标准结果 (2.43)。

考虑一个数据集 (D) 和一组具有参数 ({\theta_i}) 的