深度学习---反向传播的具体案例

转载来源:https://zhuanlan.zhihu.com/p/23270674

深度学习---反向传播的具体案例

EdisonGzq

​

​ 最近遇到一位小师弟，他让我给他推导一下前向传播和反向传播过程，于是我埋头在白纸上一步一步推导，最后，小师弟特别开心，在此过程中，我也更一步认识了这个知识点，感觉很开心！O(∩_∩)O~~

接下来我用Matt Mazur的例子，来简单告诉读者推导过程吧（其实就是链式）！

先初始化权重和偏置量，得到如下效果：

前向传播

1. 先计算的所有输入：，代入数据可得：;
   
2. 然后利用logistic函数计算得的输出:;
3. 用同样的方法得；
   

对输出层神经元重复这个过程，使用隐藏层神经元的输出作为输入。这样就能给出的输出：

，代入数据可得：

，则其输出为：

。

同样可以得到。

开始统计所有的误差

如上图，的原始输出为0.01，而神经网络的输出为0.75136507，则其误差为：

同样可得 。

综合所述，可以得到总误差为：。

反向传播

输出层

对于，想知道其改变对总误差有多少影响，于是得：。

通过链式法则可以得到：

其实如下图所示，其实是一直在做的就是这个：

在这个过程中，需要弄清楚每一个部分。首先：

然后知：

最后得：

把它们放在一起就是：

为了减少误差，然后从当前的权重减去这个值（可选择乘以一个学习率，比如设置为0.5），得：

通过相同的步骤就可以得到：

在有新权重导入隐藏层神经元（即，当继续下面的反向传播算法时，使用原始权重，而不是更新的权重）之后，执行神经网络中的实际更新。

隐藏层

我们需要就算：

从图中其实更加明显可以看清楚：

得：

可知：

又因为：

所以：

结合可得：

同样可以得到：

因此：

我们知道logistic函数：

所以其求导为：

同样有前面前向传播可以知道：

得：

结合可得：

现在可以更新了。

同样的步骤可以得到：

最后，更新了所有的权重！ 当最初前馈传播时输入为0.05和0.1，网络上的误差是0.298371109。 在第一轮反向传播之后，总误差现在下降到0.291027924。 它可能看起来不太多，但是在重复此过程10,000次之后。例如，错误倾斜到0.000035085。

在这一点上，当前馈输入为0.05和0.1时，两个输出神经元产生0.015912196（相对于目标为0.01）和0.984065734（相对于目标为0.99）。很接近了O(∩_∩)O~~