机器学习高级-chapter 06-支持向量机理论讲解

1 支持向量机理论讲解

1.1 支持向量机(support vector machines. ，SVM)概念

1.支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；

2.支持向量机还包括核技巧，这使它成为实质上的非线性分类器；

3.支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问题。

4.支持向量机的学习算法就是求解凸二次规划的最优化算法。

1.2 支持向量机（supportvectormachines. SVM）分类

1.线性可分支持向量机(linear support vector machine in linearly separable case )：

        当训练数据线性可分时，通过硬间隔最大化(hard margin maximization)；

2.线性支持向量机(linear supportvector machine)：

        训练数据近似线性可分时，通过软间隔最大化(soft margin maximization)；

3.非线性支持向量机(non-linear support vector machine)：

        当训练数据线性不可分时，通过使用核技巧(kernel trick)及软间隔最大化。

2 线性可分支持向量机

应用场景 ：

1.适用于数据集线性可分的情况，即数据点能够被一个超平面清晰地分割成两类。

2.对噪声敏感，因为它要求所有的样本都严格位于各自的类别一侧，容忍不了任何错误。

3.在训练数据线性可分的情况下，线性可分支持向量机能够找到全局最优解。

2.1 线性可分支持向量机

下图所示的二维特征空间中的分类问题。图中表示正例，表示负例。训练数据集线性可分，这时有很多直线能将两类数据正确划分，线性可分支持向量机对应着两类数据正确划分且间隔最大的直线。

2.2 点到超平面的距离

要想获得最大间隔，就要计算训练数据集到超平面的距离。