李宏毅深度学习笔记（八）BP(Back Propagation)神经网络

为了使得计算梯度下降时更加有效率，我们使用反向传播(backpropagation)。

链式法则

我们使用链式法则对神经网络的损失函数求偏导然后就可以代入式子优化参数了：

其中$C(y,\hat{y})=-{\sum }_{i=1}^n{y}_{i}ln{\hat{y}}_i$，$y_i$代表标签值，${\hat{y}}_i$代表依据模型计算出来值。

我们先考虑其中的一个节点：

如图所示我们称$\frac{\partial z}{\partial w}$为前向传播(Forward pass)，称$\frac{\partial C}{\partial z}$为反向传播(Backward pass)。

上式中$\frac{\partial z}{\partial w}$比较好算：

计算前向传播(Forward pass)和反向传播(Backward pass)

下面来解释一下为什么称$\frac{\partial z}{\partial w}$为前向传播(Forward pass)：

如上图所示，因为$\frac{\partial z}{\partial w_i}=x_i$所以看起来就像-1往前传了一步，0.12往前传了一步······也就是说计算$\frac{\partial z}{\partial w_i}$时只要那个节点的输入往前传一步赋值给$\frac{\partial z}{\partial w_i}$即可。

计算反向传播(Backward pass)

其中$a=\sigma (z)=\frac{1}{1+e^{-z}}$
假设打红色问号的两项已知的话，整个式子就很容易算出来了，即：

其中${\sigma }^{\prime }(z)=\frac{\partial a}{\partial z}$，因为在后传的时候$z$已经是一个已知的常数了，所以${\sigma }^{\prime }(z)$就是一个常数了。

接下来我们解决上面留下来的一个问题，计算$\frac{\partial C}{\partial z^{\prime }}$和$\frac{\partial C}{\partial z^{\prime \prime }}$
我们分两种情况来计算：
情况一：$C$位于输出层

这种情况下比较好算，因为此时$y_1=\sigma (z^{\prime })$且$C=-{\hat{y}}_{1}ln{y}_1-{\hat{y}}_{2}ln{y}_2$

情况二：$C$位于隐藏层

此时就用到了类似于递归的思想，一直往后推导输出层。但是这样一层一层往后推会很费劲，所以我们最好从最后一项开始一层一层往前推，如下图所示，先算出$\frac{\partial C}{\partial z_5}$和$\frac{\partial C}{\partial z_6}$再算$\frac{\partial C}{\partial z_4}$和$\frac{\partial C}{\partial z_3}$最后算$\frac{\partial C}{\partial z_2}$和$\frac{\partial C}{\partial z_1}$ 。

总结

总的来说我们只需要先对整个网络进行前向传播(Forward Pass)然后再对整个网络进行反向传播(Backward Pass)把二者的结果相乘就是我们所要求解的$\frac{\partial C}{\partial w}$。