支持向量积-1

《统计学习方法——支持向量机》
支持向量积（support vector machine）是机器学习中的一种分类器，其基本模型是定义在特征空间上的最大间隔线性分类器，跟感知机的区别也在于最大间隔这个点，感知机的解是有多个的，而svm由于限定了最大间隔，因此其解是唯一的。

• 线性可分支持向量机与硬间隔最大化
  假设对于一个二分类问题，其数据是线性可分的，线性可分支持向量机的学习目标就是找出一个分离超平面，能够将实例分到不同的类别中。

  1.首先什么是线性可分支持向量机？
  就是给定线性可分的数据集，然后通过间隔最大化来求解分离超平面：
  

  w*x + b = 0
  及相应的分类决策函数：
  f(x) = sign(w*x + b)
  这就是线性可分支持向量机。

  举个栗子:
  

  可以将上面数据分开的直线有很多，但是图示的直线是线性可分支持向量机对应的间隔最大的直线。

  2.函数间隔和几何间隔
  说到最大间隔，就得先了解函数间隔和几何间隔。

  2.1.函数间隔
  在分离超平面确定的情况下，如w*x+b = 0， |w*x+b|可以表示点x距离超平面的远近，而w*x+b的符号与类表y是否一样则可以用来判断分类是否正确，so, y*(w*x+b)可以用表示分类的正确性和确信度，这就是函数间隔。
  超平面关于点xi的函数间隔为：
  

  
  关于训练数据集的函数间隔则为所有点的函数间隔的最小值：
  
  但函数间隔存在一个问题，就是当我们成比例地改变w和b的时候，分离超平面并没有改变而函数间隔却变为原来的2倍，解决方法是对w加约束，让||w||=1，即规范化。

  2.2.几何间隔
  几何间隔就是点到超平面的距离，如下图：
  
  点A到超平面的距离，及AB，记为：
  

  
  ||w||就是w的L2范数，上面是点在超平面正的一侧的情况，在负的一侧则是：
  

  因此，综合来说，如果点被超平面分类正确，那么点到超平面的距离就是：
  

  
  从而，超平面关于点x的几何间隔是：
  
  关于训练集的几何间隔则是所有样本的几何间隔的最小值：
  
  2.3.从上面函数间隔和几何间隔的公式，可以得到两者之间的关系：
  
  当||w||=1时，函数间隔和几何间隔就是相等的，可以看到的是函数间隔会随着w和b的成比例改变而改变，而几何间隔是不会的。

  3.间隔最大化
  svm的思想就是学习一个超平面，该平面能够正确地划分训练数据并且尽可能的使离该超平面最近的点的几何间隔最大（最大化最小间隔），间隔的大小实际上表征了对样本点分类的确信度，可以理解为有多大的把握，间隔最大化就是想要不仅将正负实例分开，并且对难以分开的点（离超平面近的点）也有充分大的确信度去分开，这样的超平面具有很好的泛化能力。

  3.1.求解最大间隔分离超平面
  求解超平面是一个约束最优化问题，
  

  
  第一个是最大化几何间隔，第二个是保证对每个样本点的几何间隔至少是，此时引入函数间隔跟几何间隔的关系，可以将上面的问题改成：
  
  取什么值不会影响最优化问题的解，如果w,b成比例改变，那么函数间隔也按比例改变，并且函数间隔对目标函数的优化也没影响，因此可以取=1，代入上述式子；
  最大化目标函数等价于最小化，于是问题又可以转为：
  
  求解上述最优化问题，得到w和b，就得到了最大间隔分离超平面w*x+b=0及分类决策函数f(x)=sign(w*x+b)。

  3.2.支持向量与间隔边界
  支持向量指的是，训练数据集的样本点中与分离超平面距离最近的样本点的实例，这些点满足：
  

  
  下图中，在H1和H2上的点就是支持向量；
  
  H1和H2的距离即间隔，依赖于分离超平面的法向量w，H1，H2就是间隔边界。
  这里可以看到，其实对分离超平面起作用的只有那些支持向量，这也是叫支持向量机的原因，在间隔边界外的点对分离超平面无影响，支持向量机由很少的重要的训练样本确定。
  书中有个例子，比较简单就不列了。