正向传播与反向传播

1. 正向传播

按顺序(从输入层到输出层)计算和存储神经网络每层的结果

2. 反向传播

计算机神经网络参数梯度的方法. 依据微积分中的链式法则,沿着从输出层到输入层的顺序.依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度.
在训练过程中, 深度学习模型时, 正向传播和反向传播相互依赖.