个人学习笔记（二）感知机

1、感知机模型

       假设输入空间是$X\in R^n$，输出空间是Y={+1,−1}Y=\{+1,-1\}Y={+1,−1}，由输入空间到输出空间的如下函数称为感知机。
$$f(x)=sign(w\cdot x+b)$$       其中$w\in R^n$，$b\in R$，$sign$是符号函数，即
$$sign(x)=\{\begin{array}{rc}+1,& x\ge 0\\ -1,& x\le 0\end{array}$$       感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification model)，即函数集合{f∣f(x)=w⋅x+b}\{f|f(x)=w\cdot x+b\}{f∣f(x)=w⋅x+b}。

2、感知机学习策略

       模型已经明确了，根据上一章的知识，接下来要确定一个能够评价模型好坏的策略，即定义一个损失函数。经验损失函数一个很自然的选择是误分类点的个数，但这样的损失函数不是参数$w$与$b$的连续可导函数，不易优化。因此采用误分类点到超平面$S$的总距离作为损失函数，这里的超平面指的是$w\cdot x+b=0$对应于特征空间$R^n$的超平面。
       首先写出输入空间$R^n$中任一点$x_0$到超平面$S$的距离
$$\frac{1}{||w||}|w\cdot x_0+b|$$       其中$||w||$是$w$的$L_2$范数。
       对于误分类的数据$(x_i,y_i)$来说，若$y_i=1$，则$w\cdot x_i+b<0$；若$y_i=-1$，则$w\cdot x_i+b>0$。所以对误分类点来说，$-y_i(w\cdot x_i+b)>0$恒成立。
       这样，误分类点$(x_i,y_i)$到超平面$S$的距离是
$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$       那么设误分类点集合为$M$，所有误分类点到超平面$S$的总距离为
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$       不考虑分母$||w||$，就能得到感知机的损失函数定义为
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$       为什么可以不考虑$||w||$？因为感知机是误分类点驱动的，而$||w||$不影响$-y_i(w\cdot x_i+b)$的符号，即不影响点$(x_i,y_i)$的分类正误；用梯度下降法求解时，$||w||$也不会影响梯度的方向。

3、感知机学习算法

       给定一个训练数据集
T={(x1,y1),(x2,y2),⋯&ThinSpace;,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}       求参数$w$与$b$，使其为以下损失函数极小化问题的解
$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$       具体采用随机梯度下降法(stochastic gradient descent)进行求解。首先任意选取一个超平面$w_0$、$b_0$，若误分类点集合$M$是固定的，则损失函数$L(w,b)$的梯度为
$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$       随机梯度下降就是随机选取一个误分类点$(x_i,y_i)$，对$w$与$b$进行更新
$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$       式中$\eta$是步长，即学习率(learning rate)，这样不断迭代可以使$L(w,b)$不断减小，直到为0。
       现在考虑算法的收敛性，为便于推导将$b$并入权重向量$w$中，记作$\hat{w}=(w^T,b{)}^T$，同时将输入向量加进常数1，记作$\hat{x}=(x^T,1{)}^T$。这样，$\hat{x}\in R^{n+1}$，$\hat{w}\in R^{n+1}$，有$\hat{w}\cdot \hat{x}=w\cdot x+b$。
       可以引出下述$Novikoff$定理：
       设训练数据集$T$是线性可分的，则
       （1）存在满足条件$||{\hat{w}}_{opt}||=1$的超平面${\hat{w}}_{opt}\cdot \hat{x}=0$将训练数据集完全正确分开；且存在$\gamma >0$，对所有$i=1,2,\cdots ,N$
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)\ge \gamma$$       （2）令$R={\max }_{1\le i\le N}||{\hat{x}}_i||$，则感知机算法的误分类次数$k$满足不等式
$$k\le (\frac{R}{\gamma }{)}^2$$       定理（1）的证明比较简单，由于训练数据集线性可分，存在超平面可将训练数据集完全正确分开，取此超平面为${\hat{w}}_{opt}\cdot {\hat{x}}_i=0$，由于对有限的$i=1,2,\cdots ,N$均有
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)>0$$       所以存在
γ=min⁡i{yi(w^opt⋅x^i)}\gamma=\min_i\{y_i(\hat w_{opt}\cdot \hat x_i)\}γ=imin​{yi​(w^opt​⋅x^i​)}       使得
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)\ge \gamma$$       针对定理（2），令${\hat{w}}_{k-1}$是第$k$个误分类实例之前的扩充权重向量，若$(x_i,y_i)$是被${\hat{w}}_{k-1}$误分类的数据，则$w$、$b$的更新是
$${\hat{w}}_k\leftarrow {\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$$       这里省略了从$w$推至$\hat{w}$的过程，不过比较简单。下面推导两个不等式中的第一个：
$${\hat{w}}_k\cdot {\hat{w}}_{opt}=({\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i)\cdot {\hat{w}}_{opt}={\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta y_i{\hat{w}}_{opt}\cdot {\hat{x}}_i$$       根据定理（1），$y_i{\hat{w}}_{opt}\cdot {\hat{x}}_i\ge \gamma$，因此上式可得
$${\hat{w}}_k\cdot {\hat{w}}_{opt}\ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma \ge \cdots \ge k\eta \gamma$$       又由于$||{\hat{w}}_k\cdot {\hat{w}}_{opt}||\le ||{\hat{w}}_k||\cdot ||{\hat{w}}_{opt}||$，而$||{\hat{w}}_{opt}||=1$，即
$$||{\hat{w}}_k||\ge k\eta \gamma$$       接着推导第二个不等式：
$$||{\hat{w}}_k|{|}^2=||{\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i|{|}^2=||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2{y}_i^2||{\hat{x}}_i|{|}^2$$       由于$(x_i,y_i)$是${\hat{w}}_{k-1}$的误分类点，因此
$$y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i<0$$       又由于yi∈{1,−1}y_i\in \{1,-1\}yi​∈{1,−1}，即$y_i^2=1$，可得到下面的不等式
$$||{\hat{w}}_k|{|}^2\le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2||{\hat{x}}_i|{|}^2\le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2{R}^2\le \cdots \le k{\eta }^2{R}^2$$       将得到的两个不等式结合，可得
$$k\eta \gamma \le ||{\hat{w}}_k||\le \sqrt{k}\eta R$$       即
$$k\le (\frac{R}{\gamma }{)}^2$$       定理表明，误分类的次数$k$是有上界的，即经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。
       上述使用随机梯度下降法进行迭代的方法属于原始形式，其与对偶形式相对应。对误分类点$(x_i,y_i)$，原始形式通过
$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$       逐步修改$w$与$b$，可假设初值$w_0$与$b_0$均为0，这样最后学习到的$w$与$b$可以表示为
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$b=\sum _{i=1}^N{\alpha }_i{y}_i$$       式中，${\alpha }_i=n_i\eta$，$n_i$为第$i$个点由于误分类而进行更新的次数。
       因此感知机模型可以写作
$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+\sum _{j=1}^N{\alpha }_j{y}_j)$$       在迭代过程中，选取数据$(x_i,y_i)$，若$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+{\sum }_{j=1}^N{\alpha }_j{y}_j)\le 0$，按如下规则更新${\alpha }_i$即可
$${\alpha }_i\leftarrow {\alpha }_i+\eta$$       在对偶形式的感知机模型中，训练实例仅以内积的形式出现，即式中的$x_j\cdot x$，可以预先将训练集的内积计算出来，以矩阵的形式存储，这个矩阵就是$Gram$矩阵
$$G=[x_i\cdot x_j{]}_{N\times N}$$