DNN反向传播推导过程

1.$L$层神经网络的前向传播：

设第$l$层的权值矩阵为$W^l$，输出为$z^l$，激活值为$a^l$， 激活函数都选用$\sigma$,误差函数选择均方误差，则有如下关系：

$$z^l=W^la^{l-1}+b^l\\a^l=\sigma(z^l)\\J(W,b,x,y)=\frac{1}{2}||a^L-y||_2^2$$

2.$L$ 层神经网络的反向传播：

对于输出层$L$层：

$$\begin{eqnarray}\frac{\partial J(W,b,x,y)}{\partial W^L}&=&\frac{\partial J(W,b,x,y)}{\partial a^L}\frac{\partial a^L}{\partial z^L}\frac{\partial z^L}{\partial W^L}\\&=&(a^L-y)\bigodot\sigma^{'}(z^L)(a^{L-1})^T\end{eqnarray}$$

∂J(W,b,x,y)∂bL==∂J(W,b,x,y)∂aL∂aL∂zL