李航机器学习方法3之感知机

0.参考

机器学习方法，作者：李航
感知机与超平面，作者：GRNovmbrain
浅析感知机（一）–模型与学习策略，作者：忆臻

1.待解决问题

1.$w^{T}x+b=0中w^T为什么是约束边界的法向量？$
2.$从点到超平面的距离推导出lossfunction。$

也就是需要首先找到损失函数，然后转化为最优化问题。

1.1需要知道的是

思想：错误驱动
感知机解决的是二分类问题且必须线性可分，输入（特征向量）$x\in {\mathbb{R}}^p$，输出 y = { − 1 , + 1 } y=\{-1,+1\} y={ −1,+1}
决策函数：$f(x)=sign(w^{T}x+b)$
$sign(a)=\{\begin{array}{l}-1,a<0\\ +1,a\ge 0\end{array}$
其中$w$是weight vector，$b$是bias

图示：

1.2补充：什么是线性可分？

给定一个数据集，如果存在某个超平面$S(wx+b=0)$，能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，即对$y=+1$的实例点，有$wx+b>0$，对$y=-1$的实例点，有$wx+b\le 0$，则称数据集线性可分，否则线性不可分。

2.一些问题

2.1$\vec{w}$是超平面的法向量？

如图在$w^T+b=0$上任意取两个点$x_1,x_2$

即得：$$\{\begin{array}{l}{w}^T{x}_1+b=0\\ w^T{x}_2+b=0\end{array}\to w^T(x_1-x_2)=0$$
即得：$$\vec{w}\cdot \overrightarrow{(x_1-x_2)}=0\to \vec{w}\perp \overrightarrow{(x_1-x_2)}$$
所以得到如下图所示：
所以可以推导出$\vec{w}$是超平面的法向量。

2.2从点到超平面的距离$\to$Loss Function

预备知识：点到平面的距离怎么求？
设点为$P$，在平面上任取一点$A$，距离就等于$\overrightarrow{PA}$往单位法向量上的投影，如图所示：
$|PQ|=\overrightarrow{PA}在\vec{n}(法向量)的投影=\frac{|\overrightarrow{PA}\cdot \vec{n}|}{|\vec{n}|}$，分子是绝对值，分母是模。

回到问题：求d？
在$w^{T}x+b=0$上，任取一点$x^{{}^{\prime }}$，则$d=\frac{|w^T\cdot (x-x^{{}^{\prime }})|}{||w|{|}_2}$，这里$w$的$L2$范式就是模长。
即
$$\{\begin{array}{l}{w}^T{x}^{{}^{\prime }}+b=0\to b=-w^T{x}^{{}^{\prime }}\\ d=\frac{|w^T\cdot (x-x^{{}^{\prime }})|}{||w|{|}_2}=\frac{|w^{T}x-w^T{x}^{{}^{\prime }}|}{||w|{|}_2}=\frac{|w^{T}x+b|}{||w|{|}_2}\end{array}$$
至此，距离的表达式就推导出来了。

3.loss function推导

很自然的会想到用误分类点的数目来作为损失函数，是误分类点个数越来越少，最终全部分对就可以了，建立如下所示的loss function（这样的损失函数并不是w，b连续可导（无法用可导函数形式来表达出误分类点的个数），无法进行优化。）：
$$l(w,b)=\sum _{i=1}^{N}I(y_i(w^T{x}_i+b)<0)$$
对于指示函数的由来：考虑正确分类$(w^T{x}_i+b)>0,y_i=+1$，$y{w}^T{x}_i+b)<0,y_i=-1$，得到正确的$y_i$