SVM支持向量机

写的太水了，先提交，趁着五一疯狂改，助教就不用看了浪费时间
简介
SVM，Support Vector Machine，一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
要点：

• 找到一条分界线（二维）或一条流形（高维），从而达到分类的目的。
• 使用最靠近分界线的点作为support vectors。

分类：

1. Hard-Margin SVM
2. Soft-Margin SVM
3. Kernel SVM

• SVM线性可分数据
  线性可分数据就是低维度的、直观的就可以看出来的数据，用一条直线就可以把数据划开。我们将寻找+1、-1两类样本间隔最大的平面。于是，对于+1样本的数据，有wx(+1)+b(+1)=0；对于-1样本的数据，有wx(-1)+b(-1)=0，（这里的括号是角标，表示类型）

• SVM线性不可分数据
  我们引入松弛间隔 ξ（越小越好）使得判定更为松弛。作为惩罚，我们引入惩罚因子C，原来的min 1/2 （w^2）后面多多了一个惩罚模块，这个模块就是用C对松弛“代价” ξ的和的惩罚。我们最终就是要使得式子最小min，并且错误分类的个数（cost&penalty）也尽量小，C自然而然就成为了协调者，也自然而然成为了我们实际问题中需要考虑、尝试的参数

• SVM的优缺点
  优点：
  (1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；
  (2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；
  (3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。
  (4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题。
  (5)SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。
  (6)少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:
  ①增、删非支持向量样本对模型没有影响;
  ②支持向量样本集具有一定的鲁棒性;
  ③有些成功的应用中,SVM 方法对核的选取不敏感

缺点：
(1) SVM算法对大规模训练样本难以实施
由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法
(2) 用SVM解决多分类问题存在困难
经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器。