[Deep Learning] 反向传播算法（Backpropagation Algorithm）

Chain Rule（链式法则）

---

Case 1

如果有：

$$y=g(x)z=h(y)$$

那么“变量影响链”就有：

$$\Delta x\to \Delta y\Delta z$$

因此就有：

$$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$$

Case 2

如果有：

$$y=g(s)y=h(s)z=k(x,y)$$

那么“变量影响链”就有：

因此就有：

$$\frac{dz}{ds}=\frac{\partial z}{\partial x}\frac{dx}{ds}+\frac{\partial z}{\partial y}\frac{dy}{ds}$$

Backpropagation（反向传播算法）——实例讲解

---

定义

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。 该方法对网络中所有权重计算损失函数的梯度。 这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。（误差的反向传播）——维基百科

说明

假设现在有N个样本数据，那么实际上损失函数可以表示为：

$$L(\theta )=\sum _{n=1}^N{l}^n(\theta )$$

其中$\theta$为需要学习的参数。

那么现在$\omega$对$L$进行偏微分，实际上是对每个样本数据的损失函数$l(\theta )$进行偏微分后再求和：

$$\frac{\partial L(\theta )}{\partial \omega }=\sum _{n=1}^N\frac{\partial l^n(\theta )}{\partial \omega }$$

用代数表示为：

$$z_1={\omega }_{11}{x}_1+{\omega }_{12}{x}_2+b_1{a}_1=\sigma (z_1)$$

$$z_2={\omega }_{21}{x}_1+{\omega }_{22}{x}_2+b_2{a}_2=\sigma (z_2)$$

z3=ω31a1+ω32a2+b3           a3=σ(z3)z_3 = \omega_{31}a_1 + \omega_{32}a_2 + b_3 \ \ \ \ \ \ \ \ \ \ \ a_3 = \sigma(z_3)z3​=ω31​a1​+ω32​a2​+b3​           a