机器学习笔记04——支持向量机

支持向量机是一种二分类算法，通过在高维空间中构造超平面实现对样本的分类。最简单的情形是训练数据线性可分的情况，此时的支持向量机就被弱化为线性可分支持向量机，这可以视为广义支持向量机的一种特例。

线性可分的数据集可以简化为二维平面上的点集。在平面直角坐标系中，如果有若干个点全部位于 x 轴上方，另外若干个点全部位于 x 轴下方，这两个点集就共同构成了一个线性可分的训练数据集，而 x 轴就是将它们区分开来的一维超平面，也就是直线。就好比是一刀切开两堆芝麻。

如果在上面的例子上做进一步的假设，假定 x 轴上方的点全部位于直线 y=1 上及其上方，x 轴下方的点全部位于直线 y=−2 上及其下方。如此一来，任何平行于 x 轴且在 (-2, 1) 之间的直线都可以将这个训练集分开。那么问题来了：在这么多划分超平面中，哪一个是最好的呢？

直观看来，最好的分界线应该是直线 y=−0.5，因为这条分界线正好位于两个边界的中间，与两个类别的间隔可以同时达到最大。当训练集中的数据因噪声干扰而移动时，这个最优划分超平面的划分精确度所受的影响最小，因而具有最强的泛化能力。在高维的特征空间上，划分超平面可以用简单的线性方程描述

式中的 n 维向量 w 为法向量，决定了超平面的方向；b 为截距，决定了超平面和高维空间中原点的距离。划分超平面将特征空间分为两个部分。位于法向量所指向一侧的数据被划分为正类，其分类标记 y=+1；位于另一侧的数据被划分为负类，其分类标记 y=−1。

线性可分支持