反向传播（Backpropagation）

前言

由于个人理解能力有限，我看了好几遍李宏毅老师的推导才大致理解，如有错误之处恳请指正。

---

梯度与传播的关系

前面已经使用泰勒展开推导过损失函数值沿变量梯度的反方向下降最快的结论，考虑如下的网络结构

其中$x_n$代表输入的特征，$w_n$代表权重，$b$代表偏置，$z=w{x}_1+w{x}_2+b$，$z$作为激活函数$\sigma (z)$的参数。
此时的目的是得到损失函数$L$ 对每个$w_i$ 的偏导（损失函数是针对整个模型来说的）。
$L$ 对$w_1$ 的偏导并不那么好求，首先，$L$ 是所有样本损失函数（也就是所有样本交叉熵$C$）的集合，因此这里考虑单个样本交叉熵$C$ 对所有$w_i$ 的偏导。

拿$w_1$ 举例：从后往前看，$l$ 包含$\sigma (z^{\prime })$和$\sigma (z^{\prime \prime })$，$\sigma (z^{\prime })$和$\sigma (z^{\prime \prime })$包含$z^{\prime }$和$z^{\prime \prime }$，$z^{\prime }$和$z^{\prime \prime }$包含$\sigma (z)$，$\sigma (z)$包含$z$，$z$包含$w_1$…
感觉好复杂，不过也可以因此联想到高数学习的链式法则——$g(f(x))$对$x$积分等于$f^{\prime }(x)g^{\prime }(f(x))$.

---

链式法则（chain rule）

链式法则是反向传播算法的关键，通过链式法则，可以化繁为简，最终求得$\frac{\partial C}{\partial w_1}$，下图是链式法则的精髓所在：

---

反向传播的推导

假设有中间层如下

则可以根据链式法则求得$\partial C/\partial w_1$，从左向右（输入向输出）一点点看，首先：
$$\frac{\partial C}{\partial w_1}=\frac{\partial C}{\partial z}\frac{\partial z}{\partial w_1}$$
由于 $z=w_1{x}_1+w_2{x}_2+b$，因此 $\partial z/\partial w_1=x_1$，下面求 $\partial C/\partial z$：
$$\frac{\partial C}{\partial z}=\frac{\partial C}{\partial a}\frac{\partial a}{\partial z}$$
由于$a=\sigma (z)$，因此$\partial \sigma (z)/\partial z={\sigma }^{\prime }(z)$，下面求$\partial C/\partial a$
回过头看链式法则的case 2，$C$ 由$a$ 发射出两条路汇成，因此：

$$\frac{\partial C}{\partial a}=\frac{\partial C}{\partial z^{\prime }}\frac{\partial z^{\prime }}{\partial a}+\frac{\partial C}{\partial z^{\prime \prime }}\frac{\partial z^{\prime \prime }}{\partial a}$$
而$\partial z^{\prime }/\partial a=w_3$，$\partial z^{\prime \prime }/\partial a=w_4$，因此上面可以变为：

$$\frac{\partial C}{\partial a}=w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}$$

那么对于每一层，对照下图，便有：
$$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)\left[w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}\right]$$

如果$z^{\prime }$ 后面便对应着输出$y_1$，$z^{\prime \prime }$后面便对应着$y_2$，那么显然：
$$\frac{\partial C}{\partial z^{\prime }}=\frac{\partial y_1}{\partial z^{\prime }}\frac{\partial C}{\partial y_1}且\frac{\partial C}{\partial z^{\prime \prime }}=\frac{\partial y_2}{\partial z^{\prime \prime }}\frac{\partial C}{\partial y_2}$$

此时由于$y_1$ 与 $y_2$ 已知，很容易便可以算出上式。

如果$a^{\prime }$ 和$a^{\prime \prime }$ 后面还对应结点，则将$a^{\prime }$ 和$a^{\prime \prime }$ 作为输入，递归的进行上面的步骤直到输出层。
反向计算会使得很大程度上降低时间复杂度，对于$$\frac{\partial C}{\partial w_{}}=\frac{\partial C}{\partial z}\frac{\partial z}{\partial w_{}}$$可以前向计算每个结点的值作为$\partial z/\partial w$，通过反向传播计算$\partial C/\partial z$（计算公式在上面），二者相乘即为损失函数$C$ 对所有$w$ 进行偏微分的集合。