感知机算法介绍

感知机(perceptron) 是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取$+1$和$-1$。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机的目的是找到将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

感知机模型

定义

假设输入空间(特征空间)是$\chi \subseteq {\mathbf{R}}^n$，输出空间是 Y = { + 1 , − 1 } \mathscr{Y}=\{+1,-1\} Y={+1,−1}，输入$x\in \chi$表示实例($n$维特征向量)，对应于输入空间的点；输出$y\in \mathcal{Y}$表示实例的类别，由输入空间映射到输出空间，步骤如下：

1. 将$n$维输入向量$x=[x_1,x_2,\cdots ,x_n]$经过与其相应的权重$w=[w_1,w_2,\cdots ,w_n]$综合计算，得到
   $$z=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$
   其中，$z$叫做感知机的净活性值，$w\in {\mathbf{R}}^n$叫做感知机的权重向量(weight vector)或权重(weight)，$b\in \mathbf{R}$叫做感知机的偏置(bias)，写成向量形式：
   $$z=w^{T}x+b$$
2. 在线性模型之后添加激活函数，得到：
   $$a=sign(z)\text{\hspace{1em}(1)}$$
   称为感知机，其中，$a$叫做活性值，$sign(\cdot )$是符号函数：
   $$sign(z)=\{\begin{array}{ll}+1,& z\ge 0\\ -1,& z<0\end{array}\text{\hspace{1em}(2)}$$
   由上述步骤可以看出，感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合 { f ∣ f ( x ) = w T x + b } \{f|f(x)=w^T x + b\} {f∣f(x)=wTx+b}。

几何解释

感知机模型中的线性方程：
$$w^{T}x+b=0\text{\hspace{1em}(3)}$$
对应于特征空间${\mathbf{R}}^n$中的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点(特征向量)分别被分为正、负两类。因此，超平面$S$又称为分离超平面，如下图所示：

感知机学习策略

数据集的线性可分性

给定一个数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
其中 x i ∈ χ ⊆ R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i \in \chi \subseteq \mathbf{R}^n,y_i \in \mathscr{Y}=\{+1,-1\},i=1,2,\cdots,N xi​∈χ⊆Rn,yi​∈Y={+1,−1},i=1,2,⋯,N，如果存在某个超平面$S$能够将数据集的正实例点和负实例点完全正确地划分到超平面地两侧，则称数据集$T$为线性可分数据集；否则，称数据集$T$线性不可分。

学习策略

假设训练数据集是线性可分的，感知机学习的目标是找到一个能够将训练集的正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即计算出感知机模型参数$w,b$,需要定义一个学习策略，即定义损失函数，并将损失函数极小化。
损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数对于参数$w,b$不是连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面$S$的总距离，这是感知机所采用的损失函数。输入空间${\mathbf{R}}^n$中的任一点$x_0$到超平面$S$的距离：
$$\frac{|w^T{x}_0+b|}{||w||}$$
这里，$||w||$是$w$的$L_2$范数。
其次，对于误分类的数据$(x_i,y_i)$来说，
$$-y_i(w^T{x}_i+b)>0$$
成立。因为当$w^T{x}_i+b>0$时，$y_i=-1$；而当$w^T{x}_i+b<0$时，$y_i=+1$。因此，误分类点到超平面$S$的距离为：
$$-\frac{y_i(w^T{x}_i+b)}{||w||}$$
这样，假设超平面$S$的误分类点集合为$M$，那么所有误分类点到超平面$S$的总距离为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w^T{x}_i+b)$$
不考虑$\frac{1}{||w||}$，就得到感知机学习的损失函数。
给定训练集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
其中 x i ∈ χ ⊆ R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i \in \chi \subseteq \mathbf{R}^n,y_i \in \mathscr{Y}=\{+1,-1\},i=1,2,\cdots,N xi​∈χ⊆Rn,yi​∈Y={+1,−1},i=1,2,⋯,N。感知机$sign(w^{T}x+b)$学习的损失函数定义为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w^T{x}_i+b)\text{\hspace{1em}(4)}$$
其中$M$为误分类点的集合。

感知机算法

感知机学习问题转化为求解损失函数式(4)的最优化问题，最优化的方法是随机梯度下降法。

感知机学习算法的原始形式

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i \in \mathbf{R}^n,y_i \in \{+1,-1\},i=1,2,\cdots,N xi​∈Rn,yi​∈{+1,−1},i=1,2,⋯,N；学习率$\eta (0<\eta <1)$。
输出：$w,b$，感知机模型$f(x)=sign(w^{T}x+b)$。
(1) 选取初始值$w_0,b_0$；
(2) 在训练集中选取数据$(x_i,y_i)$；
(3) 如果$y_i(w^T{x}_i+b)\le 0$，
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
(4) 转至(2)，直至训练集中没有误分类点。
上述算法过程可理解为：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整$w,b$的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面之间的距离，直至超平面越过该误分类点使其被正确分类。

感知机算法的对偶形式

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i \in \mathbf{R}^n,y_i \in \{+1,-1\},i=1,2,\cdots,N xi​∈Rn,yi​∈{+1,−1},i=1,2,⋯,N；学习率$\eta (0<\eta <1)$。
输出：$\alpha ,b$，感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$。
(1)$\alpha \leftarrow 0,b\leftarrow 0$；
(2)在训练集中选取数据$(x_i,y_i)$；
(3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$，
$$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_i+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$
(4)转至(2)，直至训练集中没有误分类点。

参考：
[1] 李航.统计学习方法(第2版)[D].清华大学出版社.