2 - 感知机(perceptron)

感知机(perceptron)是二类分类的线性分类模型，输入为实例的的特征向量，输出为实例的类别，取+1和-1二值。

感知机模型对应于输入空间（特征空间）中将训练数据进行线性划分的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

感知机算法简单而易于实现，分为原始形式和对偶形式。

感知机是神经网络与支持向量机的基础。

1 感知机模型

输入空间$X\subseteq R^n$，输出空间$Y = \{+1,-1\}$。由输入空间到输出空间的函数：

$$f(x)=sign(w·x + b)$$
称为感知机。其中w和b为感知机模型参数，w为权值向量(weight vector)，b为偏置(bias)，w·x表示w和x的内积(dot product)。sign是符号函数：
$$sign(x)=\begin{cases} +1, \quad x \geq 0 \\ -1, \quad x < 0\end{cases}$$

感知机模型是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间的所有线性分类模型(linear classification model)或线性分类器(linear classifier)，即函数集合$\{ f| f(x)=w·x + b \}$。

感知机的几何解释：线性方程

$$w·x + b = 0$$
对应于特征空间$R^n$中的一个超平面，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分，位于两部分的点分布为正负两类。因此超平面S称为分离超平面(seperating hyperplane)。

2 感知机学习策略

2.1 数据集的线性可分性

给定一个数据集，如果存在某个超平面S能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，那么称数据集为线性可分数据集(linear separable data set)，否则，称为线性不可分。

2.2 感知机学习策略

假设训练集线性可分，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，确定参数w,b,需要确定一个学习策略，即定义loss function并将其最小化。

损失函数的一个自然地选择是误分类点的总数，但是这样的损失函数不是参数w,b的连续可导函数，不易于优化。感知机采用的是误分类点到超平面S的总距离来作为损失函数。

数学知识告诉我们，任一点$x_0$到超平面S的距离：

$$\frac{1}{\lVert w \rVert}|w·x_0 + b|$$
其中$\lVert w \rVert$是w的$L_2$范数，即$\lVert w \rVert = (|x_1|^2 +|x_2|^2 + ... +|x_n|^2)^{1/2}$

对于我们的模型，考虑误分类点，必定有$-y_i(w·x_i + b) > 0$成立(注意$y_i$取值为$\pm 1$)。因此误分类点到超平面的距离为:

$$- \frac{1}{\lVert w \rVert}y_i(w·x_i + b)$$

这样，所有误分类点到超平面的总距离为：

$$- \frac{1}{\lVert w \rVert} \sum_{x_i \in M}y_i(w·x_i + b)$$
不考虑$\frac{1}{\lVert w \rVert}$，就得到了感知机学习的损失函数。

给定训练集 $T = \{(x_1,y_1),(x_2,y_2), ... ,(x_N,y_N)\}$，其中，$x_i \in R^n$，$y \in \{ +1,-1\}$。感知机sign(w·x +b) 学习的损失函数定义为：

$$L(w,b) = - \sum_{x_i \in M} y_i(w·x + b)$$
其中，M为误分类点的集合。这就是感知机学习的经验风险损失函数。

3 感知机学习算法

经过上面讨论，感知机学习问题现在变为损失函数最优化问题，最优化的方法是随机梯度下降法。

3.1 感知机学习算法的原始形式

现在要求参数w,b，使其为以下损失函数极小化问题的解：

$$min L(w,b) = - \sum_{x_i \ in M}y_i(w·x_i + b)$$
其中M为误分类点的集合。

感知机学习是误分类推动的，具体采用随机梯度下降法(stocastic gradient descent，SGD)。首先，选取初始值$w_0,b_0$，然后采用梯度下降法不断地极小化目标函数，极小化过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

以上损失函数L(w,b)对w和b求偏导可得：

$$\nabla_w L(w,b) = - \sum_{x_i \in M}y_i x_i \\ \nabla_b L(w,b) = -\sum_{x_i \in M}y_i$$
这便是损失函数的梯度，据此我们可以对w,b进行更新。

随机选择一个误分类点$(x_i,y_i)$，对w,b进行更新：

$$w \leftarrow w + \eta y_i x_i \\ b \leftarrow b + \eta y_i$$
其中$\eta(0<\eta \leq 1)$是步长，又称为学习率(learning rate)。这样就能使L不断减小，直到0。

算法：感知机学习算法的原始形式：
输入：线性可分的训练数据集$T = \{(x_1, y_1), (x_2, y_2), ... , (x_N, y_N)\}$，其中$x_i \in R^n$，$y_i \in \{+1, -1\}$ ，i = 1, 2, … , N ; 学习率$\eta(0 < \eta \leq 1)$
输出：w,b；感知机学习模型$f(x)=sign(w·x + b)$

(1)选取初值$w_0, b_0$
(2)在训练集中选取数据$(x_i, y_i)$
(3)如果$y_i (w·x_i + b) \leq 0$

$$w \leftarrow w + \eta y_i x_i \\ b \leftarrow b + \eta y_i$$
(4)转至(2)，直至训练集中没有误分类点

算法直观上的解释：当一个点被误分类，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面之间的距离，直至超平面越过该误分类点使其被正确分类。

值得注意的是，感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。

可以证明，对于线性可分数据集，感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练集完全正确划分的分离超平面及感知机模型。

3.2 感知机学习算法的对偶形式

感知机(perceptron)学习算法的原始形式和对偶形式与支持向量机(SVM)的原始形式和对偶形式相对应。

对偶形式基本思想：将w,b 表示为$x_i, y_i$的线性组合的形式，通过求解系数而得到w和b。

假设$w_0, b_0$ 初值均为0，对于误分类点$(x_i, y_i)$通过

$$w \leftarrow w + \eta y_i x_i \\ b \leftarrow b + \eta y_i$$
逐步修改w,b ，设修改n次，则w,b关于$(x_i,y_i)$的增量分别是 $\alpha_i y_i x_i$ 和 $\alpha_i y_i$，这里 $\alpha_i = n_i \eta$，这样，可以看出最后学习到的w,b可以表示为：
$$w = \sum_{i=1}^N\alpha_i y_i x_i \\ b = \sum_{i=1}^N\alpha_i y_i$$
这里，$\alpha_i \geq 0$，当$\eta = 1$时，表示第i个实例点由于误分类而进行更新的次数。

算法：感知机学习算法的对偶形式
输入：线性可分的训练数据集$T = \{(x_1, y_1), (x_2, y_2), ... , (x_N, y_N)\}$，其中$x_i \in R^n$，$y_i \in \{+1, -1\}$ ，i = 1, 2, … , N ; 学习率$\eta(0 < \eta \leq 1)$
输出：$\alpha$,b；感知机学习模型$f(x)=sign\bigg( \sum\limits_{j=1}^N (\alpha_j y_j x_j·x) + b \bigg)$，其中$\alpha = (\alpha_1,\alpha_2, ..., \alpha_N)^T$
(1) $\alpha = 0, b = 0$
(2)在训练集中选取数据$(x_i, y_i)$
(3)如果 $y_i \bigg( \sum\limits_{j=1}^N (\alpha_j y_j x_j·x_i) + b \bigg) \leq 0$

$$\alpha_i \leftarrow \alpha_i + \eta \\ b \leftarrow b + \eta y_i$$
(4)转至(2)直至没有误分类数据

对偶形式中的训练实例仅以内积形式出现，为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，这个矩阵就是所谓的Gram矩阵：

$$G = [x_i·x_j]_{N \times N}$$

一些理解上的提示：

• $\sum\limits_{j=1}^N (\alpha_j y_j x_j·x_i)$代表向量$\alpha$与Gram矩阵的第i列的内积
• 若对$x_i$点进行更新，那么$\alpha_i = \alpha_i + 1, b = b + y_i(\eta = 1)$