线性可分支持向量机

支持向量机（Support Vector Machines, SVM）是一种二类分类模型。根据模型的复杂程度可以分为线性可分支持向量机、线性支持向量机及非线性支持向量机。简单模型是复杂模型的基础，也是复杂模型的特殊情况。本文假设训练数据线性可分，介绍了线性可分支持向量机如何通过硬间隔最大化（Hard Margin Maximization）来学习一个线性的分类器。

假定训练数据集：

x_i（本文以“_”表示下标）为第i个特征向量，y_i为x_i的类标记，当y_i=+1时，称x_i为正例；当y_i=-1时，称x_i为负例，（x_i，y_i）称为样本点，再假定训练数据集是线性可分的。学习的目标是找到一个超平面，将所有样本点分类，即将正例分为一类，将负例分为另一类。关于超平面的定义，可见维基百科。简单地说，以二维空间为例，在一个平面上，超平面是由满足ax+by=c方程的点构成，即平面上的一条直线，将该平面划分为两类；以此类推，在三维空间中，超平面是由满足ax+by+cz=d方程的点构成，即空间中的一个面，将空间划分为两类。为了能够在任意维度划分空间，超平面的方程常常表示成wx+b=0，其中w和x都是向量。

1.线性可分支持向量机的定义

给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为wx+b=0以及相应的分类决策函数f(x)=sign(wx+b)称为线性可分支持向量机。