神经网络及卷积神经网络的训练——反向传播算法

神经网络的训练过程，就是通过已有的样本，求取使代价函数最小化时所对应的参数。代价函数测量的是模型对样本的预测值与其真实值之间的误差，最小化的求解一般使用梯度下降法（Gradient Decent）或其他与梯度有关的方法。其中的步骤包括：

1. 初始化参数。
2. 求代价函数关于参数的梯度。
3. 根据梯度更新参数的值。
4. 经过迭代以后取得最佳参数，从而完成神经网络的训练。
   其中最重要的步骤就是求梯度，这可以通过反向传播算法（back propagation）来实现。

单个神经元的训练

单个神经元的结构如下图。假设一个训练样本为$(x,y)$。在下图中，$x$是输入向量，通过一个激励函数$h_{w,b}(x)$得到一个输出$a$，$a$再通过代价函数得到$J$。

$f(W,b,x)=a=sigmoid(\sum_{i}{x_iw_i+b})$ （公式1）
$J(W,b,x,y)=\frac{1}{2}\|y-h_{w,b}(x)\|^2$ （公式2）

这里激励函数以使用sigmoid为例，当然也可以使用其他的比如tanh或者rectived linear unit函数。要求的参数为$W$和$b$。

通过定义变量$z=\sum_{i}{x_iw_i+b}$可以将激励函数看做是两部分，如下图右图所示。第一部分是仿射求和得到$z$, 第二部分是通过sigmoid得到$a$。

训练过程中，要求代价函数$J$关于$W$和$b$的偏导数。先求$J$关于中间变量$a$和$z$的偏导：

$\delta^{(a)}=\frac{\partial}{\partial{a}}J(W,b,x,y)=-(y-a)$ （公式3）
$\delta^{(z)}=\frac{\partial}{\partial{z}}J(W,b,x,y)=\frac{\partial{J}}{\partial{a}}\frac{\partial{a}}{\partial{z}}=\delta^{(a)}a(1-a)$ (公式4)

公式（4）中根据sigmoid函数的定义$\sigma(z)=\frac{1}{1+e^{-z}}$可得$\frac{\partial{a}}{\partial{z}}=a(1-a)$。

再根据链导法则，可以求得$J$关于$W$和$b$的偏导数，即得$W$和$b$的梯度。

$\nabla_WJ(W,b,x,y)=\frac{\partial}{\partial{W}}J=\frac{\partial{J}}{\partial{z}}\frac{\partial{z}}{\partial{W}}=\delta^{(z)}x^T$ (公式5)

$\nabla_bJ(W,b,x,y)=\frac{\partial}{\partial{b}}J=\frac{\partial{J}}{\partial{z}}\frac{\partial{z}}{\partial{b}}=\delta^{(z)}$ (公式6)

在这个过程中，先求$\partial{J}/\partial{a}$,进一步求$\partial{J}/\partial{z}$,最后求得$\partial{J}/\partial{W}$和$\partial{J}/\partial{b}$。结合上图及链导法则，可以看出这是一个将代价函数的增量$\partial{J}$自后向前传播的过程，因此称为反向传播（back propagation）。

多层神经网络的训练

多层网络的一个例子如下图。

假设第$l+1$层的输入和输出分别是$a_{l}$和$a_{l+1}$, 参数为$W_l$和 bl