机器学习笔记--常见算法(9)--support vector machine(SVM)（台大林轩田SVM）

1. Liner Support Vector Machine

1.1 SVM引出

SVM是一种分类器。现在有两种类别(如下图)，我们要找到一条直线，将两个不同的类别区分开。图中存在许多满足条件的直线，我们该选哪条最合适呢？

直观上来说，我们有几种考虑因素：①能容忍更多噪声，②模型更健壮，不会过拟合。
这个问题可以等价于：选择一条直线，判断该直线到最近的点的距离究竟是远还是近。我们希望这条直线更"fat"(如上图最后一条直线)，也就是直线到最近的点的距离越远越好。

1.2 SVM中的margin计算

定义分类线有多胖，也就是看距离分类线最近的点与分类线的距离，我们把它用margin表示。
整体来说，我们的目标就是找到这样的分类线并满足下列条件：

• 分类正确。能把所有正负类分开。即$y_n{\omega }^T{x}_n>0$
• margin最大化
  

有了上述条件，那么如何计算点到分类线的距离呢？

为了便于计算，做一个小小的改动，将$\omega ({\omega }_0,{\omega }_1,\dots ,{\omega }_d)$中的${\omega }_0$拿出，替换为b。同时省去$x_0$项。假设函数hypothesis就变成了$h(x)=sign({\omega }^{T}x+b)$。

那么，点到分类平面的距离公式为：（推导见视频）
$distance(x,b,w)=|\frac{{\omega }^T}{||\omega ||}(x-x^{\prime })|=\frac{1}{||\omega ||}|{\omega }^{T}x+b|$

具体的求距离步骤：
①写出hyperplane ${\omega }_{1}x1+{\omega }_{2}x2+...+{\omega }_{d}xd+b=0$的形式
②求$||\omega ||=\sqrt{{\omega }_1^2+{\omega }_2^2+...+{\omega }_d^2}$
③将距hyperplane最近的点代入${\omega }^{T}x=b$中
④求③绝对值，代入距离公式计算最终结果

1.3 margin计算公式的简化

为了简化计算，做一个放缩，令距离分类面最近的点满足$y_n(w^T{x}_n+b)=1$。那么我们所要求的margin就变成了：
$margin(b,w)=\frac{1}{||w||}$

目标形式简化为：

另外，最大化问题$max\underset{||w||}{}$