DNN中的反向传播算法

#对反向传播算法的理解

求梯度用反向传播算法，核心是“链式求导”法则，又如何具体实现呢？这里，主要参考Michael Nielsen的Neural Networks and Deep Learning里的第二章。

介绍反向传播算法之前，我们需要知道以下几点：

• 确定Cost function $C$，即损失函数
• 根据$C$得出$C_x$，即一个训练样本的损失函数。需要$C_x$的原因是，我们接下来的反向传播算法是对一个训练样本进行的。重复这个操作，最终对所有训练样本进行完反向传播。这些我们后面会细说。

---

符号定义

对于一个训练样本，我们记做$x$
对于神经网络里每一层的权值，我们记做$w^l$
对于神经网络里每一层的偏差，我们记做$b^l$
对于神经网络里每一层的输入，我们记做$z^l$
对于神经网络里每一层的输出，我们记做$a^l$
定义激活函数为$f$
那么 $a^l=f(z^l)$

神经网络的前向传播过程即：
$a^0 = x $
$z^1=w^1{a}^0+b^1$
$a^1=f(z^1)$
$z^2=w^2{a}^1+b^2$
$a^2=f(z^2)$
…
这样依次进行下去，即 $a^l=f(w^l{a}^{l-1}+b^l)$

前面提到我们需要求得一个训练样本的损失函数$C_x$，这是很容易求出的。
例如：损失函数
下面为了方便，我们把$C_x$记做$C$，这里是把下标$x$省略掉。

---

反向传播算法

定义神经网络里每一层的误差：
${\delta }^l=\frac{\partial C}{\partial z^l}$
下面介绍的四个公式会给我们计算${\delta }^l$和损失函数梯度的方法。这四个公式都是链式法则的推论。
公式1：
${\delta }^l=\frac{\partial C}{\partial a^l}\cdot f^{\prime }(z^l)$
我们使用公式1，求得神经网络里最后一层的误差，最后一层通常不使用激活函数，因此在最后一层里 $a^L=z^L$, 我们的重点就是放在计算$ \frac{\partial C}{\partial a^L}$上。
公式2：
${\delta }^l=((w^{l+1}{)}^{\mathrm{T}}{\delta }^{l+1})\cdot f^{\prime }(z^l)$
这个公式是让我们通过递推的方式求得每一层的${\delta }^l$。上面我们提到我们使用公式1求得神经网络最后一层的 ${\delta }^l$，那么${\delta }^{l-1},{\delta }^{l-2}.....$我们便可以通过公式2求出，注意！！！公式2里面的点乘！！！！！！
公式3：
$\frac{\partial C}{\partial b^l}={\delta }^l$
求得偏差$b^l$的梯度
公式4：
$\frac{\partial C}{\partial w^l}={\delta }^l(a^{l-1}{)}^{\mathrm{T}}$

以上是对一个训练样本的损失函数进行梯度计算，最后只需要我们把所有训练样本的梯度累加，然后除以样本数目，作为最终的梯度。（如有正则化，需要再加上正则化部分的梯度，而这个是最好求的，略讲）。

如果我们直接从所有训练样本出发，又该如何呢？注意！！下面在使用上述4个公式的时候，都是在使用整个训练样本，之前的$x(D$x$1)$，在下面都是$X(D$x$N)$，相应的$z^l,a^l,{\delta }^l$的列数变成$N$。大家这里仔细分析一下就可以得出。

公式3表明了一个训练样本的 $b^l$的梯度是${\delta }^l$,我们又知道所有训练样本对$b^l$ 的梯度的影响是累加的，即 $b^l=(b^{1,l}+b^{2,l}+b^{3,l}+....+b^{N,l})/N$,假设训练样本总数是N,我们用$[{\delta }^{1,l},{\delta }^{2,l}.....{\delta }^{N,l}]$表示所有样本计算的梯度，只需要sum一下，然后除以N，便可以求得最终的$b^l$的梯度。

最后一层的${\delta }^L$,同样是${\delta }^l=[{\delta }^{1,l},{\delta }^{2,l},{\delta }^{3,l},....{\delta }^{N,l}]$。运用公式2，递推求得前一层的${\delta }^{l-1}$。

运用公式4，即可求得所有训练样本的$w^l$的累积梯度，我们只需再除以N 即可（尚未考虑正则化，如果有正则化，加上相应梯度即可，此步简单）。

通过所有上面讲述的，我们可以意识到，关键点和难点是如何求出最后一层的${\delta }^L$， 得出它后，其他的计算都可以由公式递推得到。因此，在求${\delta }^L$上，我们需要多一些耐心和认真。我个人的求解方式是 通过对单个 $\frac{\partial C}{\partial z_j^l}$计算，总结出整个 $\frac{\partial C}{\partial z^l}$的计算过程。