张小贤的平凡之路---机器学习之支持向量机---周志华《机器学习》

支持向量机

支持向量机（support vector machines，SVM）是一种二类分类模型。其基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。

$▶$ 当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机。

$▶$ 当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机

$▶$ 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。当输入空间为欧氏空间或离散集合、特征空间为希尔伯特空间时，核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机。该方法称之为核技巧。核方法是比支持向量机更为一般的机器学习方法。

1、线性可分支持向量机与硬间隔最大化

1.1、线性可分支持向量机

1.2、函数间隔和几何间隔

1.3、间隔最大化

1.4、学习的对偶算法

2、线性支持向量机与软间隔最大化

2.1、线性支持向量机

2.2、学习的对偶算法

2.3、支持向量

2.4、合页损失函数

3、非线性支持向量机与核函数

3.1、核技巧

3.2、正定核

3.3、常用核函数

3.4、非线性支持向量分类机

Q1、试计算样本空间中的任意样本点 x 到超平面 (w,b) 的距离。

Q2、试说明支持向量机对噪声敏感的原因。

Q3、试说明支持向量机引入软间隔的意义。

Q4、试写出“软间隔支持向量机”的对偶问题及其KKT条件。

Q5、试说明支持向量机引入核函数的意义。

Q6、试使用Python编程实现二分类最小二乘支持向量机，并完成对 Ionosphere 数据集的分类。