李沐《动手学深度学习》 | 4.1-4.3 多层感知机

感知机模型

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。

感知机旨在求出将输入空间中的实例划分为两类的分离超平面。如果训练数据集是线性可分的，则感知机一定能求得分离超平面。如果是非线性可分的数据，则无法获得超平面。为了找出这个超平面，也就是确定感知机模型的参数和w,b。

算法描述

给定输入向量x，权重向量w，和偏移标量b感知机输出$o=\sigma (<w,x>+b)\sigma (x)=\{\begin{array}{ll}1& ifx>0\\ -1& otherwise\end{array}$

$<w,x>$表示w和x做内积，感知机是个二分类问题，$x>0$取1，其余情况取-1.

对于特征空间中有一个超平面$wx+b=0$,其中$w$是超平面的法向量，$b$是超平面的截距。这个超平面将特征空间分为两部分，位于两部分的特征向量被分为正负两类，因此称超平面S为分离超平面。

• 正类区域：$w\cdot x+b>0$
• 负类区域：$w\cdot x+b<0$

法向量$w$ 始终垂直于超平面，指向超平面的“正方向”。

调整$b$ 可以平移超平面，使其靠近或远离原点。

《深度学习入门》的解释

将输入想成不同的信号，每个神经元会计算传送过来的信号总和，只有当这个总和超过某个界限值$\theta$时，才会被激活。

比如$w_1{x}_1+w_2{x}_2\le \theta$将$\theta$移动后使用$b=-\theta$表示原来的式子$b+w_1{x}_1+w_2{x}_2\le 0$

$o=\sigma (<w,x>+b)\sigma (x)=\{\begin{array}{ll}1& ifx>0\\ -1& otherwise\end{array}$

激活函数：$\sigma$函数将输入信号的总和转换为输出信号

激活函数的作用：决定如何来激活信号的总和

:
每个神经元对应一个偏置：每个神经元的计算都需独立调节其激活阈值(偏置)。

权重控制输入信号的重要性，偏置调整神经元被激活的容易程度。

训练感知机

假设当前是第i个样本，$y_i$是该样本的真是标号，假设+1和-1，$\hat{y}=<w,x_i>+b$表示线性模型预测的结果$\hat{y}$。

分类判断：如果真实值$y_i$和$\hat{y}$异号，说明感知机模型预测的结果错误。此时需要更新参数w与b，使用该错误样本来更新权重$w=w+y_i{x}_i$，标量偏差$b=b+y_i$。

终止条件：所有的类都分类正确。

这个算法参数更新部分实际上是使用的梯度下降算法，在这里批量大小为1也就是每一次拿一个样本去算梯度。

损失函数的选择

核心：最小化误分类样本的损失，修改参数向正确分类方向更新

李沐视频里介绍的损失函数

损失函数(单样本)为$l(y,x,w)=max(0,-y<w,x>)$，如果分类正确了预测值和真实值一致$-y<w,x>$的结果为负数，那么max取0；如果分类错误，预测值和真实值不一致$-y<w,x>$的结果是正数，那么max取$-y<w,x>$。

李航书中介绍的损失函数

损失函数的一个自然选择是误分类点的总数，但是这样的损失函数不是参数w，b的连续可导函数，不能求导优化。

损失函数的另一个选择是误分类点到超平面S的总距离。

1. 一点到超平面的距离公式：$d=\frac{|w\cdot x_0+b|}{||w||}$、

• 函数距离（Functional Distance）是点$x_0$ 到超平面$S:w\cdot x+b=0$的 未规范化距离:$函数距离=$