函数间隔和几何间隔

问题描述：求一个任意点，到一个超平面的距离

超平面表示

在线性代数中，一个超平面可以用下式表示
$y(\mathbf{X})={\mathbf{W}}^T\mathbf{X}+w0$

证明W是超平面的法向量

在超平面上任取俩个点Xa，Xb。因为$y(\mathbf{X}\mathbf{a})=y(\mathbf{X}\mathbf{b})=0$，所以我们可以得到: ${\mathbf{W}}^T(\mathbf{X}\mathbf{a}-\mathbf{X}\mathbf{b})=0$，由此我们可以得知W就是超平面的法向量

距离公式推导

根据高中所学，很直观点M到线段Nq的距离可以表示为
$\Vert Mq\Vert =\Vert MN\Vert \cdot \cos \left(\Theta \right)$ （式子1）

$\Vert Mq\Vert =\frac{\Vert \mathbf{W}\Vert }{\Vert \mathbf{W}\Vert }\cdot \Vert \mathbf{M}\mathbf{N}\Vert \cdot \cos \left(\Theta \right)$ (式子2)
又因为$\mathbf{W}\cdot \mathbf{M}\mathbf{N}=\Vert \mathbf{W}\Vert \cdot \Vert \mathbf{M}\mathbf{N}\Vert \cdot \cos \left(\Theta \right)$
式子2可以改写为：
$\Vert Mq\Vert =\frac{\mathbf{M}\mathbf{N}\cdot \mathbf{W}}{\Vert \mathbf{W}\Vert }\cdot \cos \left(\Theta \right)$ （式子3）

几何距离推导

1. 求原点到超平面 $y(\mathbf{X})={\mathbf{W}}^T\mathbf{X}+w0$ 的距离
   假设X"为超平面上任意一点，OX"向量就是用 X" 表示，由公式3可知
   $\Vert OQ\Vert =\frac{\mathbf{M}\mathbf{N}\cdot \mathbf{X}"}{\Vert \mathbf{W}\Vert }\cdot \cos \left(\Theta \right)$
   利用矩阵乘法的性质，俩个向量 X ,Y的点乘等价于$X^{T}Y$
   $\frac{{\mathbf{W}}^T\cdot \text{X}"}{\Vert \text{W}\Vert }=-\frac{w0}{\Vert \text{W}\Vert }$
2. 求任意一点到超平面的距离
   设X"为X到超平面映射点，即XX"与超平面垂直
   $\overrightarrow{OX}=\overrightarrow{OX"}+\overrightarrow{X"X}$
   $X=X"+r\cdot \frac{W}{\Vert W\Vert }$
   有因为$y(\mathbf{X})={\mathbf{W}}^T\mathbf{X}+w0$
   $y(\mathbf{X}")={\mathbf{W}}^T\mathbf{X}"+w0=0$
   求得
   $r=\frac{y(\text{x}))}{\Vert W\Vert }$

函数距离推导

不考虑$\Vert W\Vert$
$r=y(\text{x})$

应用

• 线性分类器推导 PRML chapter 4
• SVM推导，《统计学习方法》P97