机器学习系列(14)_SVM碎碎念part2：SVM中的向量与空间距离

作者：寒小阳
时间：2016年9月。
出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/52679559
声明：版权所有，转载请联系作者并注明出处

1.引言

第一篇博客part1的部分很短，就说了一个事情，SVM在试图找一个Max Margin(最大间隔)的分离超平面。OK，这个部分要补补基础，复习一下数学，为后面的学习做准备（墙裂建议数学基础好的同学略过此节基础内容…）。咱们来看看SVM涉及到的向量和空间距离。

2.从向量到距离计算

SVM = Support Vector Machine，我们在Support Vector Machine中, 看到这个单词-vector（向量）。是的，SVM中的大量计算都是建立在向量基础上的，所以这篇做一个简短的知识回顾，会涉及到的内容包括：

• 向量是什么
  
  • 它的模长
  • 它的方向
• 如何加减向量
• 什么是点积
• 如何将一个向量映射到另一个向量上
• 超平面的方程是什么
• 如何计算间隔

2.1 什么是向量

如果我们在二维空间上定义一个点A (3,4)，我们可以这样绘制它

定义：任意点x=(x1,x2),x≠0指定了平面上的一个向量，即从原点的开始到x点结束的向量。

下图是一个原点与A之间的向量。

这个点的起始位置是原点O(0,0)。

注：你会发现我们写向量时，在向量上方有一个箭头，或者是将向量加粗。在这篇文章的剩余部分中，如果像OA→这样由两个字母可以表示的，那么我将使用箭头来表示向量，否则的话将使用加粗字体的变量来表示向量。

现在我们知道有一个向量，但我们仍然不知道什么是一个向量。

定义：向量是一个既有大小又有方向的对象。

OK，所以这里涉及到两个概念：大小 和 方向。

1) 向量大小

一个向量x的大小写作∥x∥的长度。

从图中我们可以很容易地使用勾股定理计算出距离OA：

OA2=OB2+AB2OA2=32+42OA2=25OA=25−−√∥OA∥=OA=5

OA^2 = OB^2 + AB^2\\ OA^2 = 3^2 + 4^2\\ OA^2 = 25\\ OA = \sqrt{25}\\

2) 向量的方向

方向是向量的第二个组成部分。

定义：向量u(u1,u2)

那向量w的坐标怎么得到的？

要得到一个向量的方向，我们需要借助它的夹角。

上图展示了向量u(u1,u2)。

简单的理解 : 向量u的余弦值决定的。
现在我们来观察一下角度的余弦值：

cos(θ)=u1∥u∥cos(α)=u2∥u∥

cos(\theta)=\frac{u_1}{\|u\|}\\

因此，这就是向量w最初的定义，也就是为什么他的坐标被称作方向余弦。

计算方向向量

我们现在要计算上图向量u的方向。

cos(θ)=u1∥u∥=35=0.6cos(α)=u2∥u∥=45=0.8

cos(\theta)=\frac{u_1}{\|u\|}=\frac{3}{5} =0.6\\

向量u(3,4)。
下图是这个方向向量的一个示例：

我们可以看出w的模长为1，我们也把它称之为单位向量。

两个向量的和

有两个向量u(u1,u2)

这意味着两个向量相加形成了第三个向量，第三个向量的坐标是初始两个向量坐标的加和。下面是一个简单的图解：

两个向量的差

类似的，对于减法我们有：

u−v=(u1−v1,u2−v2)

由于减法是不可交换的，我们也应该考虑另一种情况：

v−u=(v1−u1,v2−u2)

向量内积

关于理解SVM的一个非常重要的概念就是内积(点积)。

定义：从几何学来说，它是两个向量的模长以及它们之间的夹角余弦值的乘积。

也就是意味着，如果我们有两个向量x

为什么内积这么算

为了便于理解，我们看一下这个问题的几何图形

在定义中我们写cos(θ),让我们看一下他到底是什么。
初中数学知识告诉我们，在一个直角三角形中：

cos(β)=角的临边斜边

OK，一个稍微复杂一点的图形，里面有两个向量，如下：

和

合在一起可以得到如下的几何图像：

可以看出：

θ=β−α

所以计算cos(θ)
(忘记这部分高中数学知识的同学请点击公式推导)

直角三角形中三角函数的定义 =_=|

cos(β)=临边斜边=x1∥x∥sin(β)=对边斜边=x2∥x∥cos(α)=临边斜边=y1∥y∥sin(α)=对边斜边=y2∥y∥

三角公式替换后有：

cos(θ)=cos(β−α)=cos(β)cos(α)+sin(β)sin(α)cos(θ)=x1∥x∥y1∥y∥+x2∥x∥y2∥y∥cos(θ)=x1y1+x2y2∥x∥∥y∥

将∥x∥∥y∥左移有：

∥x∥∥y∥cos(θ)=x1y1+x2y2

也就是说：

∥x∥∥y∥cos(θ)=x⋅y

就这样推导了一遍向量内积的几何定义…

多说一句，当我们在谈论x⋅y的点积是我们在谈论的是：

• 向量X，Y的内积（线性代数）
• 标量积，因为我们做两个向量的乘积，它返回一个标量（一个实数）。

向量的正交投影

有两个向量x

通过定义：

cos(θ)=∥z∥∥x∥∥z∥=∥x∥cos(θ)

我们从内积的部分有：

cos(θ)=x⋅y∥x∥∥y∥

在方程中替换cos(θ)有：

∥z∥=∥x∥x⋅y∥x∥∥y∥∥z∥=x⋅y∥y∥

如果我们定义了u的方向那么：

u=y∥y∥

并且

∥z∥=u⋅x

现在我们可以用一种简单的方式定义z的模：
z

u=z∥z∥z=∥z∥u

所以我们说：
向量 z=(u⋅x)u上的正交投影。

为什么要费尽心思去讲正交投影？因为它能帮助我们计算一个距离∥x−z∥。

∥x−z∥=(3−4)2+(5−1)2−−−−−−−−−−−−−−−√=17−−√

3. SVM的超平面

我们都知道一条直线的数学方程是：y=ax+b

这两种形式是如何联系的？在超平面的方程可以看出，变量的名称是粗体的。是的，所以它们不是标量，是向量了。此外wTx是两个向量的内积。
还有一点大家注意一下，有时候我们会做一些形式变换，比如y=ax+b其实是等价的。

两个向量w⎛⎝⎜−b−a1⎞⎠⎟，我们有

wTx=−b×(1)+(−a)×x+1×ywTx=y−ax−b

注意到w0呢?因为

• 在多于二维的空间里，这个方程式更适用
• 向量w垂直于超平面

计算一个点到超平面的距离第二个原因将派上用场。

3.1 计算点到超平面距离

下图中我们有一个超平面，他将两组数据划分开。

为了简化这个例子，我们干脆将w0设为0。
图中的超平面方程为：x2=−2x1

其中w(21)是一个向量而非数据点。

我们来计算一下点A(3,4)投影到超平面的距离。

我们把点A上

得到向量p

我们的目标是找到点A(3,4)。让我们一起计算一下它的值：

向量w=(2,1)

∥w∥=22+12−−−−−−√=5√

设向量 u
p上的投影，所以：

p=(u⋅a)up=(3×25√+4×15√)up=(65√+45√)up=105√up=(105√×25√,105√×15√)p=(205,105)p=(4,2)∥p∥=42+22−−−−−−√=25√

\mathbf{p} = (\mathbf{u} \cdot \mathbf{a})\mathbf{u}\\\mathbf{p} = ( 3 \times \frac{2}{\sqrt{5}} + 4 \times \frac{1}{\sqrt{5}}) \mathbf{u}\\\mathbf{p} = (\frac{6}{\sqrt{5}} + \frac{4}{\sqrt{5}})\mathbf{u}

3.2 计算超平面的间隔

我们得出了A，根据间隔公式有：

margin=2∥p∥=45√

是的，就这样算出了超平面的间隔！

4.总结

OK，到目前为止，其实就是简单回顾了一下向量中的一些概念，依旧用向量的知识，怎么帮助我们去计算超平面间隔，有兴趣的同学请接着看part3:如何找到最优分离超平面。

参考资料
SVM - Understanding the math