SVM算法总结

SVM

1. 算法概念

支持向量机（Support Vector Machine, SVM）从数据中找出一个数据的分割超平面，将两个类别的数据完全分割开，并且在模型构建的过程中，保证分割区间最大化。

1.线性可分(Linearly Separable)：在数据集中，如果可以找出一个超平面，将两组数据分开，那么这个数据集叫做线性可分数据。
2.线性不可分(Linear Inseparable)：在数据集中，没法找出一个超平面，能够将两组数据分开，那么这个数据集就叫做线性不可分数据。
3.分割超平面(Separating Hyperplane)：将数据集分割开来的直线/平面叫做分割超平面。
4.支持向量(Support Vector)：离分割超平面最近的那些点叫做支持向量。
5.间隔(Margin)：支持向量数据点到分割超平面的距离称为间隔

6.KKT条件：KKT条件是泛拉格朗日乘子法的一种形式；主要应用在当我们的优化函数存在不等值约束的情况下的一种最优化求解方式；KKT条件即满足不等式约束情况下的。拉格朗日取得可行解的充要条件。
 

2.算法分类：

一般SVM有下面三种：

• 硬间隔支持向量机（线性可分支持向量机）：当训练数据线性可分时，可以认为线性划分SVM中的距离度量就是硬间隔，在线性划分SVM中，要