BP算法

Back propagation(反向传播)

Backpropagation algorithms are a family of methods used to efficiently train artificial neural networks (ANNs) following a gradient descent approach that exploits the chain rule. The main feature of backpropagation is its iterative, recursive and efficient method for calculating the weights updates to improve in the network until it is able to perform the task for which it is being trained.[1] It is closely related to the Gauss–Newton algorithm.

artificial neural networks

1943年，lMcCuIIochandPitts，1943]将生物神经网络抽象为图所示的简单
模型，这就是一直沿用至今的“M-P神经元模型”，在这个模型中，神经元接
收到来自“个其他神经元传递过来的输入信号，这些输入信号通过带权重的连
接(connection)JE行传递，神经元接收到的总输入值将与神经元的阀值行比
较，然后通过“激活函数”(activationfunction)处理以产生神经元的输出．

理想中的激活数是图5．2间所示的阶跃函数，它将输入值映射为输出
值“0”或“1”，显然“1”对应于神经元兴奋，“0”对应于神经元抑制．

然而，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid
函数作为激活数．典型的Sigmoid函数如图5．2（b）所示，它把可能在较大
范围内变化的输入值挤压到（0，1）输出值范围内，因此有时也称为“挤压函
function).

感知层与多层神经元

• “与” $\left(x_1\wedge x_2\right)$:令$w_1=w_2=1$,$\theta =2$,则
  $y=f\left(1\cdot x_1+1\cdot x_2-2\right)$,仅在$x_1=x_2=1$时,y=1;
  

• “或” $\left(x_1\vee x_2\right)$:令$w_1=w_2=1$,$\theta =0.5$,则
  $y=f\left(1\cdot x_1+1\cdot x_2-0.5\right)$,当$x_1=1$或$x_2=1$,y=1;
  
  “非” $\left(\neg x_1\right)$:令$w_1=-0.6,w_2=0$,$\theta =-0.5$,
  $y=f\left(-0.6\cdot x_1+0\cdot x_2+0.5\right)$,当$x_1=1$时,y=0; 当$x_1=1$时y=1;
  
  这是对于线性问题,这样解决. 对于非线性问题, 单神经元就无法解决, 比如:
  

要解决非线性可分问题，需考虑使用多层功能神经元．例如图中这个
简单的两层感知机就能解决异或问题．在图中，输出层与输入层之间的一
层神经元，被称为隐层或隐含层（hiddenlayer)，隐含层和输出层神经元都是拥
有激活函数的功能经元．

更一般的，常见的神经网络是形如图5、6所示的层级结构，每层神经元与下
一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接．这样的
神经网络结构通常称为“多层前馈神经网络”(multi-layer feedforward nenral netowrks).

backpropagation

给定训练数据集，权重(i=1，2，… ，n)以及$\theta$阈值可通过学习得到．阈值$\theta$可看作一个固定输入为-1.0的“哑结点”(dummynode)所对应的连接权重$w_{n+1}$，这样，权重和阀值的学习就可统一为权重的学习．感知机学习规则非常简单，对训练样例(x,y), 若当前感知机的输出为则感知机权重将这样调整 :
$$\begin{array}{c}{w}_i\leftarrow w_i+\Delta w_i\\ \Delta w_i=\eta (y-\hat{y})x_i\end{array}$$
其中$\eta \in (0,1)$称为学习率(learningrate).从式(1)可看出，若感知机对训练样例，(x,y)预测正确，即 $\hat{y}=y$, 则感知机不发生变化，否则将根据错误的程度进行权重调整．

哑节点示意图 :

多层网络的学习能力比单层感知机强得多、欲训练多层网络，上面的简单感知机学习规则显然不够了，需要更强大的学习算法．误差逆传播（error BackPropagation，简称BP）算法就是其中最杰出的代表，它是迄今最成功的神经网络学习算法．现实任务中使用神经网络时，大多是在使用BP算法进行训练，值得指出的是，BP算法不仅可用于多层前馈神经网络，还可用于其他类型的神经网络，例如训练递归神经网络[Pineda,1987]，

但通常说"BP网络”时，一般是指用BP算法训练的多层前馈神经网络、下面我们来看看BP算法究竟是什么样．给定训练 即输入示例由d个属性描述，输出D={(x1,y1),(x2,y2),…,(xm,ym)},xi∈Rd,yi∈RlD=\left\{\left(\boldsymbol{x}_{1}, \boldsymbol{y}_{1}\right)\right.,\left(\boldsymbol{x}_{2}, \boldsymbol{y}_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, \boldsymbol{y}_{m}\right) \}, \boldsymbol{x}_{i} \in \mathbb{R}^{d}, \boldsymbol{y}_{i} \in \mathbb{R}^{l}D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)},xi​∈Rd,yi​∈Rl . 即输入示例由d个属性描述,输出l维实职=值向量 . 为便于讨论，图给出了一个拥有d个输入神经元、l个输出神经元、q个隐层神经元的多层前馈网络结构，其中输出层第j个神经元的阈值用${\theta }_j$表示，隐层第h个神经元的阈值用${\gamma }_h$表示．输入层第i个神经元与隐层第h个神经元之间的连接权为$v_{ih}$，记隐层第h个神经元与输出层第j个神经元之间的连接权为$w_{h}j$．记隐层第h个神经元接收到的输入为${\alpha }_h={\sum }_{i=1}^d{v}_{ih}{x}_i$ ,输出层第j个神经元接收的输入为${\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h$ , 其中$b_n$为隐层第h个神经元的输出 . 假设隐层和输入层神经元都使用Sigmoid函数 .

对于训练例 ($x_k,y_k$),假定神经网络输入为${\hat{\mathbf{y}}}_k=\left({\hat{y}}_1^k,{\hat{y}}_2^k,\dots ,{\hat{y}}_l^k\right)$即 :
$${\hat{y}}_j^k=f\left({\beta }_j-{\theta }_j\right)(3)$$
则神经网络在($x_k,y_k$)上的均方误差为:
$$E_k=\frac{1}{2}\sum _{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2(4)$$
图中的网络共有(d+l+1)q+l个参数需要确定 : 输入层到隐层的dXq个权值, q个隐层神经元阀值,l个输出层神经元阀值BP是一个迭代的学习算法 . 在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计 . 任意参数v的更新估计式为:
$$v\leftarrow v+\Delta v(5)$$
下面我们以图中隐层到输出层的连接权$w_{hj}$为例推导 .
BP算法基于梯度下降(gradicent descent)策略,以目标的负梯度方向对参数进行调整, 对公式(4)的误差$E_k$ , 给定学习率$\eta$ ,由:
$$\Delta w_{hj}=-\eta \frac{\partial E_k}{\partial w_{hj}}(6)$$
注意到$w_{hj}$先影响到第j个输出层神经元的输出值${\beta }_j$, 再影响到其输出值${\hat{y}}_j^k$然后影响到$E_k$,有:
$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}(7)$$
根据${\beta }_j$的定义,显然
$$\frac{\partial {\beta }_j}{\partial w_{hj}}=b_h(8)$$
Simoid函数有一个很好的性质:
$$f^{\prime }(x)=f(x)(1-f(x))(9)$$

推导过程Simoid -> $s(x)=\frac{1}{1+e^{-x}}$
倒置函数-> $f(x)=\frac{1}{s(x)}=1+e^{-x}$
$f^{\prime }(x)=-\frac{s^{\prime }(x)}{s(x{)}^2}(1)$
$f^{\prime }(x)=\left(1+e^{-x}\right)\frac{d}{dx}=-e^{-x}=1-f(x)=1-\frac{1}{s(x)}=\frac{s(x)-1}{s(x)}(2)$
根据(1),(2)消元就可以得到Sigmoid的导数公式
$s^{\prime }(x)=s(x)\cdot (1-s(x))$

根据公式(3),(4),有
$$\begin{array}{rl}{g}_j& =-\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\\ & =-\left({\hat{y}}_j^k-y_j^k\right)f^{\prime }\left({\beta }_j-{\theta }_j\right)\\ & ={\hat{y}}_j^k\left(1-{\hat{y}}_j^k\right)\left(y_j^k-{\hat{y}}_j^k\right)\end{array}(10)$$
将公式(10)和(8)代入(7) , 再代入(6) , 就得到了BP算法中关于$W_{hj}$的更新公式
$$\Delta w_{hj}=\eta g_j{b}_h$$
同理可得:
$$\begin{array}{rl}\Delta {\theta }_j& =-\eta g_j\\ \Delta v_{ih}& =\eta e_h{x}_i\\ \Delta {\gamma }_h& =-\eta e_h\end{array}$$
其中
$$\begin{gathered} \begin{array}{rl}{e}_h& =-\frac{\partial E_k}{\partial b_h}\cdot \frac{\partial b_h}{\partial {\alpha }_h}\\ & =-\sum _{j=1}^l\frac{\partial E_k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h}{f}^{\prime }\left({\alpha }_h-{\gamma }_h\right)\end{array} \\ =\sum _{j=1}^l{w}_{hj}{g}_j{f}^{\prime }\left({\alpha }_h-{\gamma }_h\right) \\ =b_h\left(1-b_h\right)\sum _{j=1}^l{w}_{hj}{g}_j \end{gathered}$$
学习率$\eta \in (0,1)$控制着算法每一轮迭代的更新步长,太大会振荡不收敛 . 太小会收敛过慢 .

指数衰减学习率。这个算法实现达到的效果是:随着迭代次数的增加逐步减小学习率，是模型前期训练速度加快，后期训练模型更加稳定而不会出现极优值两边跳动的情况。

累计误差逆传播:
$$E=\frac{1}{m}\sum _{k=1}^m{E}_k$$
BP算法的目标是最小化训练集D桑拿的累计误差 .

补充:
由于神经网络强大的表达能力,BP神经网络常常出现过拟合现象.
对此我们可以使用正则化 , 其基本思想是在误差目标中添加一个用于描述网络复杂度的部分,例如连接权与阀值的平方 ,令$E_k$表示第k个训练样例的误差 , $w_i$表示连接权与阀值,则误差目标函数变为
$$E=\lambda \frac{1}{m}\sum _{k=1}^m{E}_k+(1-\lambda )\sum _i{w}_i^2$$