backpropagation是gradient descent的一种有效方法

参数更新，总共样本量为N，样本随机分为几个batch做训练，每训练一个batch做一次参数update

在一个batch内的几个hidden layer做forward and backward propagation

https://www.bilibili.com/video/BV1JA411c7VT?p=3&vd_source=f682f3681a5f1e425870161030723e0e

Forward pass:









视频：
https://www.bilibili.com/video/BV1Ht411g7Ef?p=14

并行计算：

视频：
https://www.bilibili.com/video/BV1Ht411g7Ef?p=15

【[5分钟深度学习] #02 反向传播算法-哔哩哔哩】