三层BP神经网络前馈公式推导

最新推荐文章于 2022-11-29 08:59:05 发布

原创

最新推荐文章于 2022-11-29 08:59:05 发布 · 4k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#数学 #神经网络

本文详细介绍了三层BP神经网络的前馈计算公式，包括输入层到隐藏层、隐藏层激励函数、隐藏层到输出层的计算，以及误差计算。使用梯度下降法更新参数，通过链式求导法则计算隐藏层和输出层权重的偏导数，最终完成权重的调整。文章还回顾了作者在学习该内容时的经历。

以上图三层神经网络为例。

1.网络参数命名：

输入为矩阵 $X = [x_{1},x_{2},x_{3},...,x_{d} ]^{T}$ ，输出矩阵为 $Y = [y_{1},y_{2},y_{3},...y_{l}]^{T}$ 。隐藏层对于输入层的权值为V，输出层对于隐藏层的权值为W。

2.前馈思想：

网络前馈的目的是修改隐藏层和输出层中的权值，即图中的V和W。对于一组已知的数据，可以根据输入X得出网络计算出的估计Y1。前馈进行的内容就是，根据Y和Y1之间的差别，来修改V和W，使得尽可能地对于任意一组数据X、Y，能够使得网络估计的Y1和实际Y差别很小。

3.梯度下降法：

最常用的算法：梯度下降法来更新参数。函数永远是沿着梯度的方向变化最快，那么我们对每一个需要调整的参数求偏导数，如果偏导数>0,则要按照偏导数相反的方向变化；如果偏导数<0，则按照此方向变化即可。于是我们使用-1*偏导数则可以得到参数需要变化的值。同时我们设定一个学习率η，η的作用是控制单次迭代修改参数值的大小，学习率通常是小于1的，防止修改过大出现overfitting。综上所述，如果我们要对一个参数p进行调参，只需要：

$p += -1\cdot \eta \cdot \frac{\partial Ek}{\partial p}$ .......................................................................(1)