卷积神经网络(CNN)反向传播算法

　在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)

1. 回顾DNN的反向传播算法

　　　　我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的δLδL:

δL=∂J(W,b)∂zL=∂J(W,b)∂aL⊙σ′(zL)δL=∂J(W,b)∂zL=∂J(W,b)∂aL⊙σ′(zL)

　　　　利用数学归纳法，用δl+1δl+1的值一步步的向前求出第l层的δlδl，表达式为：

δl=(∂zl+1∂zl)Tδl+1=(Wl+1)Tδl+1⊙σ′(zl)δl=(∂zl+1∂zl)Tδl+1=(Wl+1)Tδl+1⊙σ′(zl)

　　　　有了δlδl的表达式，从而求出W,bW,b的梯度表达式：

∂J(W,b)∂Wl=δl(al−1)T∂J(W,b)∂Wl=δl(al−1)T

∂J(W,b,x,y)∂bl==δl∂