《机器学习（周志华）》Chapter6 支持向量机

      支持向量机简单总结下来就是找到一条直线能正确分类，并且类别之间的间隔最大化，先看下如何计算间隔：

点到直线的距离公式（参考网址）：

最大化间隔即：

所以支持向量机等价于求解先得式子：

 

上式很明显是一个凸二次规划问题，使用拉格朗日乘子法可得：

其中拉格朗日乘子，，，可得：

所以原问题等价于求：

对偶问题：

任取一组固定的：

（最大值肯定大于等于任选的值）

（最大值的最小值肯定大于等于最小值的最大值）

四、软间隔与正则化

上面讨论的求间隔最大化称为硬间隔，硬间隔容易受到噪声影响，发生过拟合，泛化能力差。缓解该问题的一个办法是允许支持向量机在一些样本上出错，因此引入软间隔：

即允许某些样本不满足：

常用的替代损失函数：

若采用hinge损失：

拉格朗日乘子法可得：

五、支持向量回归：

SVR问题为最大化间隔即最小化的同时最小化损失，有：

                  

拉格朗日乘子法有：

依次求导得：

代入6.46得：

KKT条件为：

参考网址：

https://blog.youkuaiyun.com/on2way/article/details/47729419

https://wenku.baidu.com/view/54e3e30952ea551811a68700.html?from=search

https://wenku.baidu.com/view/66b885bfaef8941ea66e0501.html?from=search

https://wenku.baidu.com/view/fc8118728e9951e79b8927f3.html?from=search