机器学习数学原理（6）——最优间隔分类器

机器学习数学原理（6）——最优间隔分类器

这一篇博文主要起一个承上启下的作用，即需要上一篇博文所说的泛化拉格朗日定理方面的知识（建议读者先阅读上一篇博文《机器学习数学原理（5）——广泛拉格朗日乘子法》），同时为下一篇关于SVM支持向量机的博文作铺垫。这一篇博文介绍最优间隔分类器。

需要注意的是，本篇所介绍的最优间隔分类器都是建立在线性可分的二分类样本基础上的，对于非线性可分的样本笔者会在下一篇博文SVM支持向量机的核函数法（Kernel）的章节中仔细介绍，这里便先不再赘述。

另外老规矩，由于笔者水平有限，如果文章中出现不妥或者错误的地方，欢迎大家批评指出。

1 间隔

最优间隔分类器（the Optimal Margin Classifier）的核心便是间隔（Margins），整个算法便是围绕这个概念展开。所谓间隔指的是特征点到分割超平面（Separating Hyperplane）的距离。

为了方便以后的叙述，将间隔分为两类：

1. 函数间隔
2. 几何间隔

接下来笔者便先来介绍这两种间隔。

在我们介绍间隔前笔者认为有必要先确定一下符号：

• xi：样本空间中第i个样本，有n维。
• yi