BP神经网络理解

BP神经网络

前向过程

参数正常向前传递即可

反向传播

当我们最终在输出层得到了一个预测的值时，发现它和真实值之间存在差距，成为网络的误差，然后我们就会定义一个损失函数来描述这个误差的大小（最简单的直接用真实值减预测值就行）。接下来我们就要考虑误差是怎么来的以及如何调整参数来减小这个误差。
我们可以这样想，在数据量足够大的时候，我们可以认为传过来的值与误差的比例是一定的，值是怎样过来的，就怎样将误差丢回去。因此，将误差按权值回传，并使用梯度下降的方法（导数方向变化最快（最有效），所以就沿着导数方向调参）进行调整。
中间推导过程用到了个链式求导（高中学的来着）。