SVM详解以及常见面试题

SVM

SVM的思想是在特征空间中找到一个超平面划分不同类，并且间隔最大的超平面意味着分类置信度比较大。

硬间隔SVM

如样本是线性可分的，则使用硬间隔的SVM，每个样本都是分类正确的

推导过程

空间超平面的方程为Wx+b = 0，W为平面法向量。
点到平面的距离为
最大化间隔即为

具体取值无关，而1/W最大等价于W最大，所以问题等价于

定义拉格朗日函数

所以原问题转换为对偶问题

先求min令其对w和b的偏导为0得出

和

代入原式，对偶问题变成了

然后因为KKT条件，非拉格朗日参数的偏导为0；拉格朗日项为 0；拉格朗日乘子小于0，拉格朗日参数大于0。即;