机器学习--支持向量机（SVM）

目录

1.支持向量机简介

1.1 支持向量机的类别

1.2 最大间隔

1.3 核函数

1.4 实验步骤

2 代码实现

2.1 导入所需库

2.2 生成线性可分数据

2.3 划分数据集

2.4 数据标准化

2.5  创建SVM分类器实例

2.6 训练SVM分类器

2.7 预测测试集

2.8 可视化

2.9 可视化结果

3 总结

---

1.支持向量机简介

支持向量机（Support Vector Machine，SVM）是一种二分类模型，SVM可以用于线性和非线性分类问题，回归以及异常值检测。其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。支持向量机的学习算法是求解凸二次规划的最优化算法。

其基本原理是通过在特征空间中找到一个超平面，将不同类别的样本分开，并且使得离超平面最近的样本点到超平面的距离最大化。

1.1 支持向量机的类别

- 分割超平面：将上述数据集分隔开来的直线成为分隔超平面。对于二维平面来说，分隔超平面就是一条直线。对于三维及三维以上的数据来说，分隔数据的是个平面，称为超平面，也就是分类的决策边界。
- 间隔：点到分割面的距离，称为点相对于分割面的间隔。数据集所有点到分隔面的最小间隔的2倍，称为分类器或数据集的间隔。论文中提到的间隔多指这个间隔。SVM分类器就是要找最大的数据集间隔。 
- 支持向量：离分隔超平面最近的那些点。

1.2 最大间隔

我们假设平面上任意一点x的很坐标是，纵坐标是，则此点的类别是1 或 -1：

此时，超平面方程：

         

因为需要保证直线两边的点到此超平面的距离最大，所以我们需要计算点x xx到超平面的距离d ：

                

<