15、分类模型的多种方法解析

分类模型的多种方法解析

1. 相关向量分类

在贝叶斯框架下的核逻辑回归中，若采用径向基函数（RBF）核，我们可以通过拉普拉斯方法近似对偶参数 $\psi$ 的后验分布，并将其从模型中边缘化，以此考虑对偶参数的不确定性。这种方法得到的结果与相同长度尺度下的最大似然情况非常相似，但正如贝叶斯实现的典型特征，其置信度会适当降低。

对于最大似然学习，我们需要优化对数后验概率 $L$ 关于参数的导数：
[
\frac{\partial L}{\partial \psi} = - \sum_{i=1}^{I} (\text{sig}[a_i] - w_i) K[X, x_i]
]
[
\frac{\partial^2 L}{\partial \psi^2} = - \sum_{i=1}^{I} \text{sig}[a_i] (1 - \text{sig}[a_i]) K[X, x_i] K[x_i, X]
]

核逻辑回归的贝叶斯形式（有时也称为高斯过程分类）遵循类似的思路，采用对偶形式，用核函数替代数据示例之间的点积。常见的核函数是径向基核，其表达式为：
[
k[x_i, x_j] = \exp \left[ -0.5 \left( \frac{(x_i - x_j)^T (x_i - x_j)}{\lambda^2} \right) \right]
]

不过，核逻辑回归的贝叶斯版本虽然强大，但计算成本较高，因为它需要计算新数据示例与所有训练示例之间的点积。为了提高效率，我们可以让模型仅稀疏地依赖训练数据。具体做法是对每个非零加权的训练示例施加惩罚，将对偶参数 $\psi$ 的正态