11、提升算法有效性的间隔解释与应用

提升算法有效性的间隔解释与应用

1. AdaBoost与间隔

AdaBoost通过追求具有大间隔的组合分类器来控制其复杂度。当能获得大间隔时，相关定理表明AdaBoost的性能就好像组合分类器的复杂度与基分类器处于同一量级，从而使形成大量基分类器多数投票的惩罚最小化。

在某些情况下，如果长时间运行AdaBoost，所有训练示例都会被正确分类，但间隔非常小，仅为O(1/m)，远不足以预测良好的泛化性能。因为有意义的间隔至少应为Ω(1/√m) 。

2. 支持向量机（SVM）概述

SVM也是基于（近似）最大化间隔原则的分类方法，与AdaBoost不同，SVM基于对数据的强几何视图。

• 线性分类器选择 ：给定数据，SVM的首要目标是找到一个能正确标记数据的线性分类器或线性阈值函数。通常会有多个这样的线性分类器，SVM会选择将正例和反例分开且与最近数据点距离最大的超平面。

  • 超平面方程：一个分离超平面由方程w · x = 0给出，其中w的长度为单位长度（∥w∥2 = 1）。实例x根据其落在超平面的哪一侧进行分类，预测规则为sign(w · x)。
  • 间隔定义：对于由w定义的超平面，示例到分离超平面的（带符号）距离称为间隔。示例(x, y)的间隔可计算为y(w · x)，整个训练集的间隔是各个训练示例间隔的最小值，即mini yi(w · xi)。SVM的目标是找到使这个最小间隔最大化的超平面w。

• 高维映射 ：线性阈值函数的表达能