14、分类模型中的逻辑回归及其扩展

分类模型中的逻辑回归及其扩展

1. 逻辑回归

逻辑回归是一种用于分类的重要模型。在一维数据的参数估计中，最大似然学习旨在寻找 $Pr(w|X,\varphi)$ 关于 $\varphi$ 的最大值。在实际操作中，我们通常最大化对数似然，因为对数似然的峰值位置与原似然函数的峰值位置相同。例如，使用牛顿法进行优化时，通过多次迭代逐步逼近最优参数。

梯度向量的表达式有直观的解释。每个数据点的贡献取决于实际类别 $w_i$ 与预测属于类别 1 的概率 $\lambda = sig[a_i]$ 之间的差异。分类错误的数据点对表达式的贡献更大，从而对参数值的影响也更大。

对于一般函数，牛顿法只能找到局部最大值。但逻辑回归的对数似然函数具有特殊性质，它是参数 $\varphi$ 的凹函数。对于凹函数，不存在多个最大值，基于梯度的方法可以保证找到全局最大值。可以通过检查海森矩阵来确定函数是否为凹函数。如果海森矩阵对于所有 $\varphi$ 都是负定的，那么该函数就是凹函数，逻辑回归就是这种情况，其海森矩阵（方程 9.9）由外积的负加权和组成。

然而，逻辑回归模型也存在一些问题：
- 过度自信 ：由于采用最大似然学习，模型可能会过度自信。
- 线性决策边界 ：只能描述线性的决策边界。
- 高维效率问题 ：在高维数据中，模型参数众多，学习效率低下，且容易过拟合。

为了解决这些问题，我们将对逻辑回归模型进行扩展。

2. 贝叶斯逻辑回归

在贝叶斯方法中，我们学习与训练数据兼容的