感知机

感知机

感知机模型

• 感知机解决的问题：
  感知机是解决二分类问题的线性分类模型。感知机学习目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为此，导入基于误分类的损失函数，分离超平面的确定由求得损失函数极小值确定。感知机是神经网络与支持向量机的基础。
• 感知机模型函数
  $$f(x)=sign(wx+b)$$
  $w$和$b$为模型参数，$w$为权值或者权重向量。sign为符号函数：
  $$sign(x)=\begin{cases} +1, x>=0\\ -1, x<0 \end{cases}$$
  线性方程$wx+b=0$对应特征空间的一个超平面$S$，$w$为超平面的法向量，$b$为超平面的截距。感知机模型如下图所示：
  
  
  平面方程表示参考：
  http://www.cnblogs.com/graphics/archive/2010/07/10/1774809.html

损失函数

感知机的损失函数为：所有误分类点到超平面$S$的总距离：
首先点$x_0$到超平面$S$的距离为：

$$\frac{1}{||w||}|wx_0+b|$$
$||w||$是$w$的$L_2$范数，$L_2$表示向量各元素的平方和。
对于分类错误的点$(x_i,y_i)$，总有$-y_i(wx_i+b)>0$成立，当$wx_i+b>0$时，$y_i=-1$；$wx_i+b<0$时，$y_i=1$；假设超平面$S$的误分类点集合为$M$，那么所有误分类点到超平面$S$的总距离为：
$$-\frac{1}{||w||}\sum_{x_i\in M}y_i(wx_i+b)$$
上式不考虑$-\frac{1}{||w||}$，得到感知机的损失函数：
$$L(w,b)=-\sum_{x_i\in M}y_i(wx_i+b)$$
- 感知机的学习策略
求得参数$w$,$b$；使其损失函数极小化问题的解(目标函数)：
$$min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(wx_i+b)$$
$M$是误分类点的集合，感知机学习方法是误分类驱动的，采用随机下降法求得参数值，极小化目标函数中，一次随机选取一个误分类点使其梯度下降，并更新$w$和的值。重复上述过程，直至所有点都正确分类。