BP神经网络之理论推导

BP神经网络之理论推导

一、 神经网络简介

神经元细胞

在19世纪，人们发现了人脑神经细胞传导兴奋的规律，计算机科学家们由此受到启发，提出来人工神经网络，希望用这个模型来模拟人脑。

神经元细胞有几个重要组成：轴突，树突，细胞体。轴突能将神经元的兴奋传递给其连接的神经元，而树突能够接收其他神经元传递过来的兴奋。神经元细胞根据接收到的兴奋决定是否将兴奋传递给下一个神经元细胞。

神经元模型

将神经元细胞抽象为数学模型，输入为$(x_1,x_2,\ldots, x_n)$, 每个输入都对应一个权重$(w_1,w_2,\ldots,w_n)$，θ为神经元的偏置，决定是否输出信号。F(z)为激活函数，将实数范围压缩到0至1。Y为神经元的输出。

$$y=\sum_{i=1}^{n}(w_ix_i-\theta)\tag{1}$$
$$f(x)=\frac{1}{1+e^{-x}}\tag{2}$$
可以假设$x_0=1 ，w_0=-θ$。上式可以改写为$y=f(w^Tx)$

二、神经网络正向计算

目前提出的神经网络模型很多，但最常用的还是前馈神经网络。

下面先定义描述神经网络的参数：
1. $w^l$ 第l层到第l+1层之间的权重矩阵，矩阵的维数为$N^{l+1} \times N^l$
2. $a^l$ 第l层的神经元的输出向量
3. $z^l$ 第l层神经元输入的加权和向量
4. $x$ 神经网络的输入向量
5. $y$ 神经网络的输出向量
6. $L$ 神经网络的层数
7. $N^l$第l层神经元的数量
8. $g(z)$ 神经元的激活函数

根据定义我们可以得到
$z^l=w^T a^l$
$a^{l+1}=g(z^l)$ 增加偏置 $a_0^{l+1}=1$
其中 $a^1=x,y=a^L$
根据上式不断迭代 计算出 即可得到神经网络的最终输出结果。

三、 误差逆传播算法

神经网络的损失函数为

$$J={1 \over 2}\sum_{i=1}^{N^L}(a_i^L - y_i)^2\tag{3}$$
学习神经网络就是要学习权重矩阵。可以根据梯度下降的优化方法求出权重矩阵的最优值。
$$w^l=w^l - \lambda{\partial J \over \partial w^l}\tag{4}$$
有因为$z_i^{l+1} = w_{i*}^l \cdot a^l$，所以
$$\frac{\partial J}{\partial w_{ij}^l}=\frac{\partial J}{\partial z_i^{l+1}} \frac{\partial z_i^{l+1}}{\partial w_{ij}^l}\tag{5}$$

令$\delta_i^{l+1}=\frac{\partial J}{\partial z_i^{l+1}}$,且$\frac{\partial z_i^{l+1}}{\partial w_{ij}^l} = a_j^l$，即可得：

$$\frac{\partial J}{\partial w_{ij}^l}=\delta_i^{l+1}\times a_j^l\tag{6}$$

对于$\delta_i^l=\frac{\partial J}{\partial z_i^l}$ 有两种情况
1. 当l=L,即为最后一层时

$$\delta_i^L = {{\partial \frac{1}{2} \sum_{i=1}^{N^{L+l}}(a_i^L-y_i)^2} \over{\partial z_i^L}}= (a_i^L-y_i)g'(z_i^L)\tag{7}$$
2. 当l为任意一层时
$$\delta_i^l=\frac{\partial J}{\partial z_i^l}=\frac{\partial J}{\partial z^{l+1}}\cdot \frac{\partial z^{l+1}}{\partial z_i^l}=\sum_{j=1}^{N^{l+1}} \frac{\partial J}{\partial z_j^{l+1}} \frac{\partial z_j^{l+1}}{\partial z_i^l}=\sum_{j=1}^{N^{l+1}} \delta_j^{l+1} \frac{\partial z_j^{l+1}}{\partial z_i^l}= \sum_{j=1}^{N^{l+1}} \delta_j^{l+1} w_{ji}^l g'(z_i^l) =(w^l)_{i*}^T \cdot \delta^{l+1} g'(z_i^l)\tag{8}$$

将(6)(7)(8)写成向量形式，最终得到BP神经网络的理论公式

$${\partial J \over \partial w^l }=\delta^{l+1} \cdot (a^l)^T \tag{9}$$
$$\delta^L=(a^L-y).*g'(z^l) \tag{10}$$
$$\delta^l = (w^l)^T \cdot \delta^{l+1} .*g'(z^l) \tag{11}$$