SVM——大间隔分类器的原理

1、前言

在下图的分类中，线性分类器的决策边界可能是绿色或粉色的直线，但支持向量机(SVM)的决策边界却会是下面黑色的直线；
显然，黑色直线的分类效果更好，下面就让我们简单解释一些其中原理。

2、向量内积

假设有两个向量u，v，如下所示：


向量u，v在直接坐标系中如下：

现在，向量u的范数，也就是向量u的长度：

向量v在向量u上的投影如下图所示：

此时，向量u与向量v的内积为：

其中，p为向量v在向量u上的投影长度。

但是，如果向量u与向量v之间的夹角>90°，则p<0,如下图

3、SVM分类器

目标函数：

其中，

因为上面的优化，使得目标函数变得简单了。
在这里，我们再简化一下，

这样，目标函数公式转化为
再者，如下图所示

则，
经过这样的转化，SVM优化后的目标函数如下表示

接下来重点来了！！！

我们讨论一下，为什么SVM不会采用下图的这种决策边界（绿色直线）

在经过上面向量的内积知识点的复习之后，我们能够做出下面这个图，我们分析一下

在绿色直线的右侧，p(1)值很小，对于目标函数的正样本而言，要符合以下公式：

p(1)值很小，若要符合公式，则||θ||特别大

相同的，在绿色直线的左侧，p(2)值很小，对于目标函数的正样本而言，要符合以下公式：

p(2)值很小，若要符合公式，则||θ||特别大

但是目标函数要寻找的是一组θ，使得||θ||最小，因此SVM不会采用这种决策边界。

那么，SVM采用的决策边界是什么样子呢？

SVM采用的决策边界会如下图所示
相比之下，p的值变大，造成相应的||θ||变小，这样就符合和SVM目标函数的要求。

最后，因为我们的推导自始至终使用了一个简化假设，即
所以，我们推导的决策边界都是经过（0,0）坐标原点的，实际过程中，我们不会这样假设。

4、一些解释

4.1、为什么图片中向量θ和决策边界始终垂直

因为向量x在向量θ上的投影长度p，只有在向量θ和决策边界始终垂直的时候才能代表向量x到决策边界的距离。

4.2、SVM的全部目标函数公式

5、参考资料

吴恩达视频讲解
链接:https://www.bilibili.com/video/BV164411b7dx?p=71.