机器学习笔记5 －－ 支持向量机 SVM

SVM是最好的现成的分类器，不加修改即可直接使用。但调用 SVM 算法的测试准确度并不一定都很高。影响因素有数据预处理的效果、训练集的大小、特征值的选择、参数设置以及核函数的选择等因素。

 

知识点：

软间隔最大化

--点到超平面的距离并引入松弛变量（for outliers）

其中w,b分别为超平面的法向量和截距；ε为松弛变量，C 为惩罚参数，它的目的是使得目标变量最小即几何间隔最大，且使得松弛变量最小化。加入松弛变量的目标函数就是软间隔最大化。

 

拉格朗日对偶

--将目标函数和约束条件整合到拉格朗日函数中，方便求解最值问题

--原最优化问题直接求解很困难，利用拉格朗日对偶性，可通过求解原最优化问题的对偶问题得到原问题的最优解。

 

最优化问题求解

--对三个变量分别求偏导，带入拉格朗日函数：

 

核函数

--