SVM支持向量机超详细数学推导过程

感谢哔哩哔哩阿婆主：shuhuai008 、视频讲解：https://www.bilibili.com/video/av28186618/?p=1  

SVM有三宝：间隔、对偶、核技巧（核函数）

三个不同的分类算法：hard-margin SVM、soft-margin SVM、Kenel SVM

SVM起初用来解决二分类问题

为何叫SVM支持向量机？及其有关求解实例：https://blog.youkuaiyun.com/Pit3369/article/details/88965457

目录

1、hard-margin SVM（硬间隔）---最大间隔分类器（max margin ）

请注意！f(x)=sign(w^T X+b)纯粹是一个判别模型、与概率没有关系！

一、第一步

二、第二步

三、第三步

最终的精髓就是：

P2：硬间隔SVM - 模型求解(对偶问题之引出)

第一步：常约束--->无约束

第二步：无约束问题--->对偶问题

第三步：对偶问题-->求偏导-->进一步化简为无约束问题

P3：硬间隔SVM - 模型求解(对偶问题之KKT条件)

P4---软间隔SVM-模型定义

P5---约束优化+对偶关系证明

约束优化问题（也成为原问题）

对偶问题

---

1、hard-margin SVM（硬间隔）---最大间隔分类器（max margin ）

×是一类、圈是一类，找出一个超平面wtx+b=0将此分类。sign是个符号函数，括号内部>0，f(w)为+1；括号内部<0,f(w)为-1。

请注意！f(x)=sign(w^T X+b)纯粹是一个判别模型、与概率没有关系！

其实，

存在许多条超平面可将×与o分类，那么如何找出一个最合适的呢？SVM就是解决此问题的。

什么叫最合适呢？比如那条竖直的超平面，它离o与×距离非常的近，那么它的鲁棒性比较差，容易受到噪音的影响。那么就要找到一个超平面，让它距离两边的距离都足够的大。

推导过程如下：

一、第一步

化简过程：

1. xi属于R维立体空间内的点， 二者相乘>0,即就是二者同号，那么就能将s.t.约束中两种情况统一化简为该式。

      2.margin是关于超平面的函数，distance是N个点距离该超平面的集合，我们要找出其中的最小值。这里就有疑问？为何要找          出最小值？不应该是找出最大值吗？

其实超平面：距×与o的距离的最小值尽可能地最大化，因为这样的鲁棒性是最好的。

Yi其实包含在Xi内部了，比如二维空间，横坐标X纵坐标Y，也可以写为横坐标X1，纵坐标X2，因为对于N维立体空间，用X1-->Xi表示较为贴切。其实Yi只是一个lable标志，因为随着X1-->Xi的位置不同，Yi只用+1/-1的取值。

||W||表示2范数

二、第二步