感知机

概述

感知机是二分类的线性分类模型，属于判别模型。输入为特征向量，输出为{+1, -1}。

仅能用于线性可分数据集，模型为分离超平面。

采用梯度下降法对损失函数进行极小化。

分为原始形式和对偶形式。

模型

感知机定义：假设特征空间为 $\mathcal{X}\subseteq {\mathbf{R}}^n$，输出空间为 Y = { + 1 , − 1 } \mathcal{Y}=\{+1,-1\} Y={+1,−1}。输入 $\mathbf{x}\in \mathcal{X}$ 表示实例的特征向量，对应于特征空间中的点，输出 $y\in \mathcal{Y}$ 表示实例的类别。由特征空间到输出空间的如下函数
$$f(\mathbf{x})=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\mathbf{w}\cdot \mathbf{x}+b)$$
称为感知机。其中，$\mathbf{w}$ 和 $b$ 为感知机的模型参数，$\mathbf{w}\in {\mathbf{R}}^n$ 为权值向量（weight），$b\in \mathbf{R}$ 为偏置（bias），$\mathbf{w}\cdot \mathbf{x}$为向量内积，$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$是符号函数：
$$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(x)=\{\begin{array}{ll}+1,& x\ge 0\\ & \\ -1,& x<0\end{array}$$

感知机的假设空间是定义在特征空间中的所有线性分类模型，即函数集合 { f ∣ f ( x ) = w ⋅ x + b } \{f|f(\bm{x})=\bm{w}\cdot\bm{x} + b\} {f∣f(x)=w⋅x+b}。感知机学习即选择参数 $\mathbf{w}$ 和 $b$，使得损失最小。

几何解释

线性方程 $\mathbf{w}\cdot \mathbf{x}+b=0$ 对应于特征空间 ${\mathbf{R}}^n$ 中的一个超平面，其中 $\mathbf{w}$ 是超平面的法向量，$b$ 是超平面的截距。该超平面将特征空间分为两部分，位于两部分的特征向量分别为正类和负类。

策略

数据集必须是线性可分的，即必须存在某个超平面 $\mathbf{w}\cdot \mathbf{x}+b=0$，使得数据集的正实例点和负实例点完全正确地划分到超平面的两侧（即对所有正例，有 $\mathbf{w}\cdot \mathbf{x}+b>0$；对所有负例，有 $\mathbf{w}\cdot \mathbf{x}+b<0$）。

损失函数定义为误分类点到超平面的总距离。记向量 $\mathbf{w}$ 的 $L_2$ 范数为 $\Vert \mathbf{w}\Vert$，则空间中任一点 ${\mathbf{x}}_i$ 到超平面的距离为
$$\frac{1}{\Vert \mathbf{w}\Vert }|\mathbf{w}\cdot {\mathbf{x}}_i+b|$$
对于任意的误分类点 ${\mathbf{x}}_i$，必然有
$$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)<0$$
因此，误分类点到超平面的距离为
$$-\frac{1}{\Vert \mathbf{w}\Vert }{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)$$
记误分类点集合为 $M$，则所有误分类点到超平面的总距离为
$$-\frac{1}{\Vert \mathbf{w}\Vert }\sum _{{\mathbf{x}}_i\in M}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)$$
由于 $1/\Vert \mathbf{w}\Vert$ 为定值，去掉该项，即得感知机的损失函数（经验风险函数）：
$$L(\mathbf{w},b)=-\sum _{{\mathbf{x}}_i\in M}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)$$
误分类点越少，误分类点离超平面越近，则损失函数值越小，当没有误分类点时，损失函数值为0。

对于任意实例，误分类时其损失函数是参数 $\mathbf{w}$ 和 $b$ 的线性函数，正确分类时其损失函数为0。故损失函数 $L(\mathbf{w},b)$ 是 $\mathbf{w}$ 和 $b$ 的连续可导函数。

感知机的学习策略即在假设空间中选取使上述损失函数最小的超平面作为模型（经验风险最小化）。

算法

原始形式

最优化问题：给定一个训练集
$$\begin{gathered} T= \\ ({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\cdots ,({\mathbf{x}}_N,y_N) \end{gathered}$$
其中，${\mathbf{x}}_i\in \mathcal{X}={\mathbf{R}}^n$，$$\begin{gathered} y_i\in \mathcal{Y}= \\ -1,1 \end{gathered}$$，$i=1,2,\cdots ,N$。
求参数$\mathbf{w}$，$b$，作为以下问题的解：
$$\underset{\mathbf{w},b}{\min }L(\mathbf{w},b)$$
其中 $M$ 为误分类点集合。

问题求解：随机梯度下降法（stochastic gradient descent, SGD）

损失函数$L(\mathbf{w},b)$的梯度如下：
$$\begin{gathered} {\nabla }_{\mathbf{w}}L(\mathbf{w},b)=-\sum _{{\mathbf{x}}_i\in M}{y}_i{\mathbf{x}}_i \\ {\nabla }_{b}L(\mathbf{w},b)=-\sum _{{\mathbf{x}}_i\in M}{y}_i \end{gathered}$$
随机梯度下降法每次选取一个误分类点，使其梯度下降，而非一次使 $M$ 中所有的误分类点的梯度下降。

随机梯度下降法

输入：

• 训练数据集 $$\begin{gathered} T= \\ ({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\cdots ,({\mathbf{x}}_N,y_N) \end{gathered}$$
• 学习率 $\eta$（$0<\eta \ge 1$）

输出：

• $\mathbf{w}$，$b$
• 感知机模型$f(\mathbf{x})=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\mathbf{w}\cdot \mathbf{x}+b)$

算法：

1. 选取初值 ${\mathbf{w}}_0$，$b_0$；
2. 在训练集中随机选取数据 $({\mathbf{x}}_i,y_i)$；
3. 如果 $y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\le 0$，则该点为误分类点，其梯度为$(-y_i{\mathbf{x}}_i,-y_i)$，按照梯度下降的方向，将当前参数减去梯度值，如下：
   $$\begin{gathered} \mathbf{w}=\mathbf{w}+\eta y_i{\mathbf{x}}_i \\ b=b+\eta y_i \end{gathered}$$
4. 转至第2步，直至 训练集中没有误分类点 为止。

几何解释：

• 当一个实例点被误分类时，其位于分离超平面错误一侧，此时应调整 $\mathbf{w}$ 和 $b$ 的值，使分离超平面向该误分类点方向移动，从而减小该误分类点与超平面的距离，直至超平面越过该误分类点使其被正确分类。

注意：感知机学习算法得到的模型不是唯一的，最终解与初值及每次选取误分类点的方式有关。

收敛性：

• 当训练数据集线性可分时，算法收敛，经有限次迭代后可得到将训练集完全正确划分的分离超平面（不唯一）；
• 当训练数据集非线性可分时，算法不收敛，迭代结果将产生震荡。

对偶形式

从训练开始到结束，对每个样本$({\mathbf{x}}_i,y_i)$，$\mathbf{w}$ 和 $b$ 均更新一定的次数（可能为0），记更新次数为 $n_i$。若初值 ${\mathbf{w}}_0=0$，$b_0=0$，令 ${\alpha }_i=n_i\eta$，由于 $\mathbf{w}$，$b$ 按照如下规则更新：
$$\begin{gathered} \mathbf{w}=\mathbf{w}+\eta y_i{\mathbf{x}}_i \\ b=b+\eta y_i \end{gathered}$$
因此，最终的参数为
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i \\ b=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$

感知机学习算法的对偶形式如下：

输入：

• 线性可分数据集 $T$；
• 学习率 $\eta$

输出：

• N维向量 α = { α 1 , α 2 , ⋯ &ThinSpace; , α N } \bm{\alpha}=\{\alpha_1,\alpha_2,\cdots,\alpha_N\} α={α1​,α2​,⋯,αN​} 和偏置 $b$；
• 感知机模型 $f(\mathbf{x})=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot \mathbf{x}+b\right)$

算法：

1. $\mathbf{\alpha }=0$，$b=0$；
2. 在训练集中选取数据$({\mathbf{x}}_i,y_i)$；
3. 如果 $y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j\cdot {\mathbf{x}}_i+b\right)\le 0$，则$({\mathbf{x}}_i,y_i)$为误分类点，此时$n_i$增加1，相应的${\alpha }_i$增加$\eta$，偏置$b$的更新方式同原始形式：
   $$\begin{gathered} {\alpha }_i={\alpha }_i+\eta \\ b=b+\eta y_i \end{gathered}$$
4. 转至第2步，直至 训练集中没有误分类点 为止。

对偶形式中，训练集中的实例仅以内积的形式出现，可以预先将训练集中的实例对的内积计算并存储下来，构成Gram矩阵：
$$G=[{\mathbf{x}}_i\cdot {\mathbf{x}}_j{]}_{N\times N}$$
对偶算法也是收敛的，并且存在多个解（最终解与第3步误分类点的选取顺序有关）。