15、分类模型：从核逻辑回归到分类树的探索

分类模型：从核逻辑回归到分类树的探索

1. 核逻辑回归与贝叶斯设置

在贝叶斯框架下，核逻辑回归结合径向基函数（RBF）核的方法，是通过拉普拉斯方法近似对偶参数 $\psi$ 的后验分布，并将其从模型中边缘化，以此考虑对偶参数的不确定性。这种方法得出的结果与相同长度尺度下的最大似然情况非常相似，但正如贝叶斯实现的典型特征，其置信度会适当降低。

对于最大似然学习，我们需要优化对数后验概率 $L$ 关于参数的导数：
$\frac{\partial L}{\partial \psi} = - \sum_{i=1}^{I} (sig[a_i] - w_i)K[X, x_i]$
$\frac{\partial^2 L}{\partial \psi^2} = - \sum_{i=1}^{I} sig a_i K[X, x_i]K[x_i, X]$

核逻辑回归的贝叶斯形式，有时也被称为高斯过程分类，它遵循对偶形式，用核函数替代数据示例之间的点积。常见的核函数是径向基核，其非线性变换和内积操作可表示为：
$k[x_i, x_j] = \exp \left[ -0.5 \left( \frac{(x_i - x_j)^T (x_i - x_j)}{\lambda^2} \right) \right]$

这个公式等价于计算无限长度的变换向量 $z_i$ 和 $z_j$，然后计算它们的内积 $z_i^T z_j$。

2. 相关向量分类

核逻辑回归的贝叶斯版本虽然强大，但计算成本较高，因为它需要计算新数据示例与所有训练