【深度学习】反向传播 (BP) 计算｜链式法则

JNingWei

已于 2023-02-01 13:14:25 修改

阅读量5.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习人工智能计算机视觉神经网络 cnn

于 2018-01-02 21:48:41 首次发布

本文链接：https://blog.youkuaiyun.com/jningwei/article/details/78956190

深度学习专栏收录该内容

79 篇文章

订阅专栏

BP

每个epoch：
$\qquad$ 每个batch：
$\qquad\qquad$ 每个level (n = N, … to 1，即从后往前)：
$\qquad\qquad\qquad$ 分别计算出该层误差（对该层参数、该层输入数据）的导数：
$\qquad\qquad\qquad\qquad$ $∂L∂ωn=∂L∂xn+1∂xn+1∂ωn\frac{\partial L}{\partial \omega^{n}} = \frac{\partial L}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial \omega^{n}}$ (更新本level的 $ωn\omega^{n}$ 时即用)
$\qquad\qquad\qquad\qquad$ $∂L∂xn=∂L∂xn+1∂xn+1∂xn\frac{\partial L}{\partial x^{n}} = \frac{\partial L}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial x^{n}}$ (留给底一层的level用)
$\qquad\qquad\qquad$ 更新参数：
$\qquad\qquad\qquad\qquad$ $ωn←ωn−η∂L∂ωn\omega^{n} \leftarrow \omega^{n} - \eta \frac{\partial L}{\partial \omega^{n}}$
$\qquad\qquad\qquad\qquad$ $bn←bn−η∂L∂bnb^{n} \leftarrow b^{n} - \eta \frac{\partial L}{\partial b^{n}}$

Arg:

$ω\omega$ ：omega（欧米茄）
$η\eta$ ：eta（艾塔）

Note：

BP中的 $∂L∂ωn\frac{\partial L}{\partial \omega^{n}}$ 和 $∂L∂xn\frac{\partial L}{\partial x^{n}}$ 的计算结果来源于对 前馈计算时 的 $L = f(w^{n}x^{n})$ 的求导。

链式法则

$∂L∂ωn=∂L∂xn+1∂xn+1∂ωn=∂L∂xn+2∂xn+2∂xn+1∂xn+1∂ωn\frac{\partial L}{\partial \omega^{n}} = \frac{\partial L}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial \omega^{n}} = \frac{\partial L}{\partial x^{n+2}} \frac{\partial x^{n+2}}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial \omega^{n}}$