手撕SVM公式——硬间隔、软间隔、核技巧

1.SVM作用

对于给定的训练样本集D={(x1,y1), (x2,y2),… (xn,yn)}，yi属于{-1，+1}，希望能找出一个超平面，把不同类别的数据集分开，对于线性可分的数据集来说，这样的超平面有无穷多个，而最优的超平面即是分隔间距最大的中间那个超平面

2.硬间隔最大化

对于以上的KKT条件可以看出，对于任意的训练样本总有ai=0或者yif(xi) - 1=0即yif(xi) = 1
1）当ai=0时，代入最终的模型可得：f(x)=b，即所有的样本对模型没有贡献
2）当ai>=0，则必有yif(xi) = 1，注意这个表达式，代表的是所对应的样本刚好位于最大间隔边界上，是一个支持向量，这就引出一个SVM的重要性质：训练完成后，大部分的训练样本都不需要保留，最终的模型仅与支持向量有关。

关于对偶问题

• 转化为对偶问题，具体就是把所有的约束条件，分别乘上拉格朗日乘子ai>=0，添加到需要优化的目标函数里，形成一个待优化的表达式
• 为什么原问题能求解，却要转化为对偶问题？
  1）带约束的原问题求解比较困难，变成对偶问题可以把约束条件和待优化的目标融合在一个表达式里面
  2）拉格朗日对偶问题一般是凹函数（求最大值），即使原