23、线性模型与距离模型：原理、方法及应用解析

线性模型与距离模型：原理、方法及应用解析

1. 线性模型中的校准方法与核方法拓展

在机器学习的线性模型领域，校准方法与核方法是两个重要的研究方向。校准方法旨在将线性分类器转化为概率估计器，而核方法则能让线性模型处理非线性决策边界。

1.1 基于ROC凸包的非参数校准方法

在分类问题中，我们常常需要将线性分类器的输出转化为概率估计。一种非参数的校准方法是利用ROC曲线的凸包。如图7.13所示，左图展示了基本线性分类器在特定数据上的ROC曲线及其凸包，右图则展示了如何根据凸包构建分段线性校准函数。与逻辑回归方法不同，这种校准方法不依赖于数据的特定分布假设，属于非参数方法。不过，为了避免过拟合，非参数方法通常需要更多的数据。有趣的是，在凸包的平台区域不会进行分级，这与分组模型的分段有些相似，因此凸包校准有可能产生分组和分级模型的混合形式。

1.2 核方法突破线性限制

线性模型在处理分类和回归问题时，最初采用最小二乘法进行回归，并将其应用于二元分类。然而，线性模型在处理非线性决策边界时存在局限性。核方法的出现解决了这一问题，其核心思想是将数据非线性地转换到一个特征空间，在这个空间中可以应用线性分类。

以学习二次决策边界为例，如图7.14所示，原始数据可能是非线性可分的，但通过对特征值进行平方变换，数据在转换后的特征空间中变得线性可分，感知机算法能够成功分离不同类别。在原始空间中，得到的决策边界近似为圆形或椭圆形。

在实际应用中，我们并不需要显式地构建特征空间，而是可以通过核函数在输入空间中完成所有必要的操作。以对偶形式的感知机算法为例，关键操作是计算点积。通过定义核函数，如多项式核函数 $\kappa