神经网络的反向传播公式推导

代价函数

假设在做二分类任务，那么代价函数和logistic回归代价函数一样：$J=\frac{1}{m}{\sum }_{i=1}^{m}L(y,\hat{y})$

前向传播的步骤

$z^{[l]}=W^{[l]}\ast a^{[l-1]}+b^{[l]}$
$a^{[l]}=g(z^{[l]})$

向量化的实现如下：
$z^{[l]}=W^{[l]}\ast A^{[l-1]}+b^{[l]}$
$A^{[l]}=g(z^{[l]})$

反向传播的步骤

输入为$d{a}^{[l]}$，输出为$d{a}^{[l-1]}$，$d{W}^{[l]}$，$d{b}^{[l]}$
(1) $$d{z}^{[l]}=d{a}^{[l]}\cdot g^{[l{]}^{‘}}(z^{[l]})$$
(2) $$d{W}^{[l]}=d{z}^{[l]}\cdot a^{[l-1]}$$
(3) $$d{b}^{[l]}=d{z}^{[l]}$$
(4)$$d{a}^{[l-1]}=W^{[l{]}^T}\cdot d{z}^{[l]}$$
(5)$$d{z}^{[l]}=W^{[l+1{]}^T}\cdot d{z}^{[l+1]}\cdot g^{[l{]}^{‘}}(z^{[l]})$$
式子（5）由前四个式子带入得到，这 五个式子可以实现反向传播。
向量化实现过程可以写成：
(6) $$d{Z}^{[l]}=d{A}^{[l]}\cdot g^{[l{]}^{‘}}(z^{[l]})$$
(7) $$d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}\cdot A^{[l-1]}$$
(8) $$d{b}^{[l]}=\frac{1}{m}np.sum(d{z}^{[l]},axis=1,keepdims=True)$$
(9) $$d{A}^{[l-1]}=W^{[l{]}^T}\cdot d{Z}^{[l]}$$