反向传播手记

反向传播手记

原文链接：http://neuralnetworksanddeeplearning.com/chap2.html

反向传播主要应用链式法则计算任意神经元的梯度，四个核心等式：

其中：
$\delta^l_j \equiv \frac{\partial C}{\partial z^l_j}$
$z^l_j= \sum_k w^l_{jk} a^{l-1}_k+b^l_j$，代表任意神经元的加权输入

四个等式的意义：
BP1描述了最后一层的$\delta^L$ 如何计算；
BP2描述了如何根据下层的$\delta^{l+1}$ 计算上一层的$\delta^{l}$
BP3和BP4描述了如何根据$\delta^{l}$算出$\omega$ 和 b的偏导。
反向传播的主要意义是计算各种变量的偏导不再需要求很多次目标函数的值而只需要计算一次，再进行一次反向的传播即可