超平面

超平面

之前学习过单层感知机。对超平面有一个感性的认识。

笼统的说超平面其实就是$n$维空间的$n-1$维子空间

类似于二维空间的直线， 三维空间的平面。

为了 导出超平面的定义，其实我们需要从新看待直线的定义.

将方向的影响考虑到直线中。

给定一个二维向量$(A,B)$,所有垂直于此向量的点都满足：$$Ax+By=0$$

这是因为，垂直后，向量内积恒为$0$.

法方向$(A,B)$和平移$C$，可以表示二维空间所有直线：

$$Ax+By+C=0$$

可以写成$(x,y)(A,B{)}^T+C=0$

对于$n$维空间，给定平面法向量$w$,令所有满足$[w,x]=0$的向量(点)是$n$维空间过原点的超平面。

那么$n$为空间的所有超平面可以类似二维空间，表示为：$$x{w}^T+b=0$$

$n$维空间中的点，到超平面的距离等于点到超平面的最短距离。

令$x$为$n$维空间某个超平面的点 : $x{w}^T+b=0$

根据定义，点$P$到超平面的距离显然为极小化：$$||x-P|{|}^2$$

施瓦茨不等式 $[a,b{]}^2\le [a,a][b,b]$

证明： 构造方程：$$\sum _{i=1}^n(a_{i}x-b_i{)}^2=0$$

由于：$(a_{i}x-b_i)\ge 0$，则由方程可得：$a_{i}x-b_i=0$

所以，方程最多有一个根，则判别式$\Delta \le 0$

$$\begin{gathered} \sum _{i=1}^n(a_{i}x-b_i{)}^2 \\ =x^2\sum _{i=1}^n{a}_i^2-2x\sum _{i=1}^n{a}_i{b}_i+\sum _{i=1}^n{a}_i{b}_i \end{gathered}$$

则：$$\Delta =4(\sum _{i=1}^n{a}_i{b}_i{)}^2-4(\sum _{i=1}^n{a}_i^2\left)\right(\sum _{i=1}^n{b}_i^2)\le 0$$

$[a,b{]}^2\le [a,a][b,b]$ 得证。

根据施瓦茨不等式：$$||P-x|{|}^2||w|{|}^2\ge [P-x,w{]}^2$$

$$\begin{gathered} ||P-x|{|}^2\ge \frac{[P-x,w{]}^2}{||w|{|}^2}=\frac{([P,w]-[x,w]{)}^2}{||w|{|}^2} \\ =\frac{([P,w]+b{)}^2}{||w|{|}^2} \end{gathered}$$

也就是说：$$||P-x|{|}^2\ge \frac{([P,w]+b{)}^2}{||w|{|}^2}$$

可以看到，大于等于号右边都是常数，那么这也就是说$$\frac{([P,w]+b{)}^2}{||w|{|}^2}$$是点到超平面距离的下界。

因为$w$是法向量，那么过$P$向超平面做法向量，必然存在$x^{\prime }$有：$P-x^{\prime }=kw$ 其中$k$为常数。

那么，$x^{\prime }$带入不等式有：$$||P-x^{\prime }|{|}^2=||kw|{|}^2=k^2||w|{|}^2$$

$$\begin{gathered} \frac{([P,w]+b{)}^2}{||w|{|}^2}=\frac{([x+kw,w]+b{)}^2}{||w|{|}^2} \\ =\frac{([x,w]+b+k||w|{|}^2{)}^2}{||w|{|}^2}=k^2||w|{|}^2 \end{gathered}$$

那么，$P$到超平面$[x,w]+b=0$的距离为：$$\min (||P-x||)=\frac{|[P,w]+b|}{||w||}$$