感知机模型

感知机

感知机模型

分离超平面

输入空间（特征空间）为$x\subseteq R^n$，输出空间为 y = { + 1 , − 1 } y=\{+1, -1\} y={+1,−1}，从输入空间到输出空间的函数为
$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(1)}$$
其中$w\in R^n$，叫做权值向量；$b\in R$叫做偏置（注意不是$R^n$）；sing是符号函数，即
$$sing(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}\text{\hspace{1em}(2)}$$
感知机模型需要在特征空间$R^n$中找到一个分离超平面S将特征空间划分为两部分，位于这两部分的点也就被分为了正负两大类。该分离超平面S的线性方程为
$$w\cdot x+b=0\text{\hspace{1em}(3)}$$
其中w是超平面的法向量；b是超平面的截距

损失函数

要将若干点$x_i\in x\subseteq R^n$正确划分到正负两大类中，就需要找到一个分离超平面对任意实例i都遵从下式
$$\{\begin{array}{ll}w\cdot x_i+b>0,& y_i=+1\\ w\cdot x_i+b<0,& y_i=-1\end{array}\text{\hspace{1em}(4)}$$
若有实例点不遵从（4），则是误分类数据，对于误分类数据$(x_i,y_i)$来说
$$\{\begin{array}{ll}{y}_i=-1,& w\cdot x_i+b>0\\ y_i=+1,& w\cdot x_i+b<0\end{array}\text{\hspace{1em}(5)}$$
由（5）可得
$$-y_i(w\cdot x_i+b)>0\text{\hspace{1em}(6)}$$
误分类点到分离超平面S的距离可以衡量S选择的优劣程度，因此损失函数将与误分类点到分离超平面的距离相关

输入空间$R^n$中任一点$x_0$到超平面的距离公式为
$$d=\frac{|w\cdot x_0+b|}{||w|{|}_2}\text{\hspace{1em}(7)}$$
其中$||w|{|}_2$是w的L2​范数

设误分类集合为M，结合（6）可知，所有误分类点到超平面的总距离为
$$D=-\frac{1}{||w|{|}_2}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(8)}$$
其中 y i ∈ { − 1 , + 1 } ， D > 0 y_i\in \{-1,+1\}，D>0 yi​∈{−1,+1}，D>0

忽略常数$\frac{1}{||w|{|}_2}$，可得感知机学习的损失函数
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(9)}$$

原始形式

由损失函数可得损失函数的梯度$\nabla L(w,b)$，对w与b分别求偏导数可得
$$\begin{gathered} {\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i \\ {\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i\text{\hspace{1em}(10)} \end{gathered}$$
梯度代表函数在该点$(x_i,y_i)$沿着该方向（梯度是向量）是变化最快、变化率最大的。因此梯度的负方向是局部下降最快的方向，为了优化分离超平面最小化损失函数，就需要对各个参数加上其梯度的负方向值。此处我们采用随机梯度下降法优化参数。

关于BGD、SGD、MBGD

随机梯度下降法即每次仅选取一个点进行迭代，此时$|M|=1$，由（10）可得此时损失函数的梯度为
$$\begin{gathered} {\nabla }_w{L}_{SGB}(w,b)=-y_i{x}_i \\ {\nabla }_b{L}_{SGB}(w,b)=-y_i\text{\hspace{1em}(11)} \end{gathered}$$
更新后的w，b为
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i\text{\hspace{1em}(12)} \end{gathered}$$
其中$\eta (0<\eta \le 1)$是步长（学习率），它控制函数拟合（收敛）的速度。若$\eta$太小，收敛就会很慢；若$\eta$太大，容易在最低点方向震荡，进入死循环。

通过迭代可以期待损失函数不断减小直至为零，此时即可得到分离超平面$w\cdot x+b=0$

对偶形式

每一个线性规划问题的原始形式皆有一个与之对称并可相互转换的对偶形式，因此原始形式与对偶形式的解是对应的，得到一个形式的解即是得到另一个形式的解。

我们在一次迭代时遍历所有的样本点，并累计每个点的误分类次数n。即点$x_i$在一次迭代时被误分类了，那么$n_i$则加一。值得一提的是，$n_i$更大的点表明该点更经常被误分类，很明显，离分离超平面越近的点越容易被误分。

依据（12）当初始化$w_0=0,b_0=0$时，经过若干次迭代可得参数值
$$\begin{gathered} w=\sum _{i=1}^N{n}_i\eta x_i{y}_i \\ b=\sum _{i=1}^N{n}_i\eta y_i\text{\hspace{1em}(13)} \end{gathered}$$
其中N为所有样本点的总数

令$\alpha =n_i\eta$，将（13）代入（1）可得对偶形式的感知机模型
$$f(x)=sign(\sum _{i=1}^N\alpha x_i{y}_i\cdot x+\sum _{i=1}^N\alpha y_i)\text{\hspace{1em}(14)}$$
与原始形式一样我们采用随机梯度下降法优化参数

令$\alpha =n_i\eta$，将（13）代入（6）可得对偶形式的误分类点$(x_i,y_i)$的判别式
$$-y_i(\sum _{k=1}^N{\alpha }_k{x}_k{y}_k\cdot x_i+\sum _{k=1}^N{\alpha }_k{y}_k)>0\text{\hspace{1em}(15)}$$
其中N为所有样本点的总数，k的作用是遍历样本点计算w与b

当随机找到的一个点$(x_i,y_i)$属于误分类点符合（15）时，需要更新参数${\alpha }_i$
$$\begin{array}{llcc}& \because & {\alpha }_i& =n_i\eta \\ & \therefore & {\alpha }_i& \leftarrow \eta (n_i+1)\\ & & {\alpha }_i& \leftarrow {\alpha }_i+\eta \end{array}\text{\hspace{1em}(16)}$$
与原始形式一样，通过迭代可以期待损失函数不断减小直至为零，此时即可得到分离超平面$w\cdot x+b=0$

之所以使用对偶形式，是因为在原始形式的判别式（6）中主要的运算量来自于$w\cdot x_i$，而对偶形式的判别式（15）主要的运算量来自于$x_i\cdot x_k$。其中$x_i\cdot x_k$可以通过预先计算的Gram矩阵快速获取。Gram矩阵是所有输入实例两两之间的内积$G=[x_i{x}_k{]}_{N\times N}$

对偶形式并不是任何情况都能降低运算量，只有在特征空间的纬度远大于数据集时才能降低运算量