支持向量机SVM——线性分类

目录

一、SVM相关概念

1、什么是支持向量机

2、最大间隔与分类

支持向量——距离超平面最近的点

最大化间隔：margin最大的数即为最大化的间隔

KKT条件：满足所有要求条件

拉格朗日：

3、求解问题——SMO

4、核函数

5、SVM 算法特性

二、利用SVM进行线性回归分类

代码：

---

一、SVM相关概念

1、什么是支持向量机

支持向量机（SVM）：二分类算法模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。用于解决模式识别领域中的数据分类问题，属于有监督学习算法。

优点：当数据集较小时，分类效果优于神经网络。

           能造出最大间距的决策边界从而提高分类算法的鲁棒性。

2、最大间隔与分类

在样本空间    中寻找一个超平面用于区分不同样本

支持向量——距离超平面最近的点

二分类有两个支持向量平面，这两个平面是平行的。超平面是位于这两个平面中间的。

在多种超平面中应选择哪种？

红线标注直线（最中间）为最优选择——容忍度好，鲁棒性高，泛化能力强，可最大化决策边界边缘

间隔margin    

最大化间隔：margin最大的数即为最大化的间隔

定义我们待求的超平面为

w 为超平面c 的法向量，即垂直于超平面的向量，它能决定超平面的方向。b就是截距，能确定超平面的位置
设置支持向量平面为：

求margin：

a上有一点x1，b上有一点x2，原点为O，的表示为（x1-O），的表示为（x2-O），所以可以得到（