（一）统计学习方法 | 感知机

---

1 感知机

1.1 简介与定义

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。感知机是支持向量机和神经网络的基础。

感知机 假设输入空间（特征空间）是$\mathcal{X}\subseteq {\mathbf{R}}^n$，输出空间是 Y = { + 1 , − 1 } \mathcal{Y}=\{+1,-1\} Y={+1,−1}。输入$x\in \mathcal{X}$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y\in \mathcal{Y}$表示实例的类别。由输入空间到输出空间的如下函数：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w\cdot x+b)\text{\hspace{1em}(1)}$$

称为感知机。

1.2 学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定模型参数$w,b$，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。首先写出输入空间${\mathbf{R}}^n$中的任一点$x_0$到超平面$S$的距离：$$\frac{1}{||w||}|w\cdot x_0+b|$$

这里，$||w||$是$w$的$L_2$范数。即$$||w||=\sqrt{\sum _{i=1}^k|w_i{|}^2}$$

其次，对于误分类点来说，满足：$$-y_i(w\cdot x_i+b)>0$$

误分类点$x_i$到超平面$S$的距离是：$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$

这样，假设超平面$S$的误分类点集合为$M$，那么所有误分类点到超平面$S$的总距离为：$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

如果不考虑前面常数项，上式即得到感知机学习的损失函数。即感知机学习算法是对以下最优化问题的算法。给定一个训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i ∈ Y = { + 1 , − 1 } y_i\in\mathcal {Y}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,...,N$，求参数$w,b$，使其为以下损失函数极小化问题的解：$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2)}$$

1.3 感知机学习算法的原始形式

输入 训练数据集 T = { ( x 1 , y 2 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_2),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y2​),(x2​,y2​),...,(xN​,yN​)}，其中$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i ∈ Y = { + 1 , − 1 } y_i\in\mathcal {Y}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,...,N$；学习率$\eta (0<\eta \le 1)$；

输出 $w,b$；感知机模型$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w\cdot x+b)$。

（1）选取初值$w_0,b_0$；

（2）在训练集中选取数据$(x_i,y_i)$；

（3）如果$y_i(w\cdot x_i+b)\le 0$（误分类数据），$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$

（4）转至（2），直至训练集中没有误分类点。

例题 设正实例点是$x_1=(3,3{)}^{\mathrm{T}}$，$x_2=(4,3{)}^{\mathrm{T}}$，负实例点是$x_3=(1,1{)}^{\mathrm{T}}$，使用感知机算法的原始形式求感知机模型$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w\cdot x+b)$。

解
（1）定义初值$w_0=0,b_0=0$；

（2）对于点$x_1=(3,3{)}^{\mathrm{T}}$，满足上式（3）中的条件则未被正确分类，更新$w,b$$$w_1=w_0+y_1{x}_1=(3,3{)}^{\mathrm{T}},b_1=b_0+y_1=1$$

得到线性模型$$w_1\cdot x+b_1=3x^{(1)}+3x^{(2)}+1$$

（3）对于$x_1,x_2$，不满足上式（3）则被正确分类，不更新参数。对于点$x_3=(1,1{)}^{\mathrm{T}}$未被正确分类，更新$w,b$$$w_2=w_1+y_3{x}_3=(2,2{)}^{\mathrm{T}},b_2=b_1+y_3=0$$

得到线性模型$$w_2\cdot x+b_2=2x^{(1)}+2x^{(2)}$$

如此继续下去，直到$$w_7=(1,1{)}^{\mathrm{T}},b_7=-3$$

$$w_7\cdot x+b_7=x^{(1)}+x^{(2)}-3$$

此时对于所有的数据点均分类正确，此时的损失函数达到极小。此时的分离超平面为$$x^{(1)}+x^{(2)}-3=0$$

感知机模型为$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(x^{(1)}+x^{(2)}-3)$$

1.4 感知机学习算法的收敛性

感知机学习算法的收敛性即对于线性可分的数据集，感知机学习算法的原始形式经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。为了便于叙述和推导，将偏置$b$并入权重向量$w$，记作$\hat{w}=(w^{\mathrm{T}},b{)}^{\mathrm{T}}$。同时也将输入向量扩充为相同维度，即$\hat{x}=(x^{\mathrm{T}},1{)}^{\mathrm{T}}$。这样，$\hat{x}\in {\mathbf{R}}^{n+1}$，$\hat{w}\in {\mathbf{R}}^{n+1}$；同时也满足，$\hat{w}\cdot \hat{x}=w\cdot x+b$。

Novikoff定理 设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}是线性可分的，其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i ∈ Y = { + 1 , − 1 } y_i\in\mathcal {Y}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,...,N$，则

（1）存在满足条件的超平面$||{\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}||=1$的超平面${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot \hat{x}=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$将训练数据集完全分开；且存在$\gamma >0$，对所有$i=1,2,...,N$ $$y_i({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i)=y_i(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}})\ge \gamma \text{\hspace{1em}(3)}$$

（2）令$R=\underset{1\le i\le N}{\max }||{\hat{x}}_i||$，则感知机算法在训练数据集上的误分类次数$k$满足不等式$$k\le {\left(\frac{R}{r}\right)}^2\text{\hspace{1em}(4)}$$

证明

（1）由于训练数据集是线性可分的，所以存在超平面可将训练数据集完全正确分开，取此超平面为${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$，使$||{\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}||=1$。由于对有限的$i=1,2,...,N$，均有$$y_i({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i)=y_i(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}})>0$$

所以存在 γ = min ⁡ i { y i ( w o p t ⋅ x i + b o p t ) } \gamma=\min_i\{y_i(w_{\rm opt}\cdot x_i+b_{\rm opt})\} γ=imin​{yi​(wopt​⋅xi​+bopt​)}

使$$y_i({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i)=y_i(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}})\ge \gamma$$

（2）感知机算法从${\hat{w}}_0=0$开始，如果实例被误分类，则更新权重。令${\hat{w}}_{k-1}$是第$k$个误分类实例之前的扩充权重向量，即$${\hat{w}}_{k-1}=(w_{k-1}^{\mathrm{T}},b_{k-1}{)}^{\mathrm{T}}$$

则第$k$个误分类实例的条件是$$y_i({\hat{w}}_{k-1}\cdot {\hat{x}}_i)=y_i(w_{k-1}\cdot x_i+b_{k-1})\le 0\text{\hspace{1em}(5)}$$

若$(x_i,y_i)$是被${\hat{w}}_{k-1}=(w_{k-1}^{\mathrm{T}},b_{k-1}{)}^{\mathrm{T}}$误分类的数据，则$w$和$b$的更新是$$w_k\leftarrow w_{k-1}+\eta y_i{x}_i$$

$$b_k\leftarrow b_{k-1}+\eta y_i$$

即$${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i\text{\hspace{1em}(6)}$$

先证明以下两个式子$${\hat{w}}_k\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\ge k\eta \gamma$$

上式推导过程如下，根据式（6）和式（3）$$\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}& ={\hat{w}}_{k-1}\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}+\eta y_i{\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i\\ & \ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}+\eta \gamma \end{array}$$

然后将上式递推得到$${\hat{w}}_k\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}+\eta \gamma \ge {\hat{w}}_{k-2}\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}+2\eta \gamma \ge ...\ge kn\gamma$$

证毕。再证明以下式子$$||{\hat{w}}_k|{|}^2\le k{\eta }^2{R}^2$$

由上面等式，根据式（6）和式（5）$$\begin{array}{rl}||{\hat{w}}_k|{|}^2& =||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2{R}^2\\ & \le ||{\hat{w}}_{k-2}|{|}^2+2{\eta }^2{R}^2\le ...\\ & \le k{\eta }^2{R}^2\end{array}$$

即得到$$k\eta \gamma \le {\hat{w}}_k\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\le ||{\hat{w}}_k||||{\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}||\le \sqrt{k}\eta R$$

$$k^2{\gamma }^2\le k{R}^2$$

于是$$k\le {\left(\frac{R}{\gamma }\right)}^2$$

通过上面两式得到，误分类次数$k$是有上界的，经过有限次搜索就可以找到将训练数据集完全正确分开的分离超平面。

1.5 感知机学习算法的对偶形式

对偶形式的基本想法是，将$w$和$b$表示为实例$x_i$和标记$y_i$的线性组合的形式，通过求解其系数而求得$w$和$b$。不失一般性，在感知机算法的原始形式中将初始值均设置为0，对误分类点$(x_i,y_i)$通过$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$

逐步修改$w$和$b$，则$w$和$b$关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，${\alpha }_i={\eta }_i\eta$。这样，由学习的过程可以得到，最后学习到的$w$和$b$可以分别表示为$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

$$b=\sum _{i=1}^N{\alpha }_i{y}_i$$

这里，${\alpha }_i\ge 0,i=1,2,...,N$。当$\eta =1$时，表示第$i$个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离分离超平面更近，也就越难正确分类。

输入 训练数据集 T = { ( x 1 , y 2 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_2),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y2​),(x2​,y2​),...,(xN​,yN​)}，其中$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i ∈ Y = { + 1 , − 1 } y_i\in\mathcal {Y}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,...,N$；学习率$\eta (0<\eta \le 1)$；

输出 $\alpha ,b$；感知机模型$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^{\mathrm{T}}$

（1）$\alpha \leftarrow 0,b\leftarrow 0$；

（2）在训练集中选取数据$(x_i,y_i)$；

（3）如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)\le 0$，$${\alpha }_i\leftarrow {\alpha }_i+\eta$$

$$b\leftarrow b+\eta y_i$$

（4）转至（2），直至训练集中没有误分类点。

对偶形式中训练实例仅以内积的形式出现。为了方便计算过程，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，这个矩阵就是$\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$矩阵$$G=[x_i\cdot y_i{]}_{N\times N}$$

对于上述例题，使用感知机学习算法的对偶形式。

解
（1）取${\alpha }_i=0,i=1,2,3,b=0,\eta =1$；

（2）计算$\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$矩阵$$G=\left[\begin{array}{ccc}18& 21& 6\\ 21& 25& 7\\ 6& 7& 2\end{array}\right]$$

（3）误分条件$$y_i\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)\le 0$$

参数更新
$${\alpha }_i\leftarrow {\alpha }_i+1,b\leftarrow b+y_i$$

（4）迭代；

（5）结果$$w=2x_1+0x_2-5x_3=(1,1{)}^{\mathrm{T}}$$

$$b=-3$$

分离超平面$$x^{(1)}+x^{(2)}-3=0$$

感知机模型$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(x^{(1)}+x^{(2)}-3)$$

---

2. Python实现感知机学习算法

以mnist数据为例实现感知机学习算法的原始形式。首先将下载的数据集解压并转化成csv格式：

def convert(images, labels, out, n):
    # 图像文件
    img = open(images, "rb")
    # 标注文件
    bel = open(labels, "rb")
    # 输出文件
    out = open(out, "w")
    # 指定读入字节数
    img.read(16)
    bel.read(8)
    # 创建列表存放结果
    images = []
    # 读取内容
    for i in range(n):
        # ord函数返回对应字符的ASCII码
        image = [ord(bel.read(1))]
        for j in range(28 * 28):
            image.append(ord(img.read(1)))
        images.append(image)
    # 写入输出文件
    for image in images:
        out.write(",".join(str(pix) for pix in image) + "\n")
    # 关闭文件
    img.close()
    bel.close()
    out.close()

可以使用以下函数查看csv文件内容：

# 读取csv文件，在train.csv中一共包含60000行，28*28+1列
def read_csv(file):
    with open(file) as f:
        reader = csv.reader(f)
        for row in reader:
            # index ['x','x',...,'x']
            # ......
            print(reader.line_num, row)
    f.close()

感知机算法，首先将数据集转化成算法输入格式：

def load_data(file):
    # 定义空列表
    dataArr = []
    labelArr = []
    # 打开并处理文件
    with open(file, "r") as f:
        lines = f.readlines()
        for line in lines:
            # 针对csv文件格式，使用','分割数据
            curLine = line.strip().split(',')
            # 感知机算法是一个二分类算法，定义0-4为-1、5-9为+1
            # csv文件第一列存放着具体类别
            if int(curLine[0]) < 5:
                labelArr.append(-1)
            else:
                labelArr.append(1)
            # 处理具体数据，除以255归一化
            dataArr.append([int(num) / 255 for num in curLine[1:]])
        # 返回
        return dataArr, labelArr

定义感知机的主体函数：

def perceptron(dataArr, labelArr, iteration=50):
    # 转换训练数据格式为矩阵
    # dataMat形状为(rows,cols)
    dataMat = np.mat(dataArr)
    # labelMat形状为(1,rows)
    labelMat = np.mat(labelArr).T
    # 获取矩阵大小
    rows, cols = np.shape(dataMat)
    # 初始化参数
    # w形状为(1,cols)，b的运算使用广播机制,η
    w = np.zeros((1, np.shape(dataMat)[1]))
    b = 0
    h = 0.001
    # 迭代训练
    for it in range(iteration):
        for i in range(rows):
            # 获取当前训练数据和标签
            x = dataMat[i]
            y = labelMat[i]
            # 如果是误分类样本，则计算损失和更新参数
            if y * (w * x.T + b) <= 0:
                w = w + h * y * x
                b = b + h * y
        # 打印迭代进度及Loss
        print("Iteration: [{}] / [{}]".format(it, iteration))
    # 返回w和b
    return w, b

基于训练集得到的$w$和$b$在测试集上的表现：

def test(dataArr, labelArr, w_value, b_value):
    # 转换训练数据格式为矩阵
    # dataMat形状为(rows,cols)
    dataMat = np.mat(dataArr)
    # labelMat形状为(1,rows)
    labelMat = np.mat(labelArr).T
    # 获取矩阵大小
    rows, cols = np.shape(dataMat)
    # 统计错误样本数
    errorCnt = 0
    # 遍历测试样本
    for i in range(rows):
        # 获取当前数据和标签
        x = dataMat[i]
        y = labelMat[i]
        # 获得计算结果
        result = y * (w_value * x.T + b_value)
        if 0 >= result:
            errorCnt += 1
    # 计算正确率
    acc = 1 - (errorCnt / rows)
    # 返回准确率
    return acc

---

3. 感知机学习算法的总结

感知机是一种二分类模型，同时它包含了后面大多数优化算法的雏形，如支持向量机、深度神经网络等：定义损失函数，利用梯度下降法等优化方法对损失函数极小化以求得最终的模型参数。感知机最早在1957年由Rosenblatt提出。Novikoff，Minsky与Papert等人对感知机进行了一系列理论研究。感知机的扩展学习方法包括口袋算法、表决感知机、带边缘感知机等。

---

参考

1. 统计学习方法/李航著。—2版。—北京：清华大学出版社，2019（2019.6重印）.
2. https://blog.youkuaiyun.com/qq_40513088/article/details/106760205（minist数据集转化）.
3. https://github.com/Dod-o/Statistical-Learning-Method_Code（感知机算法代码）.

---

完

---