本文详细解析了全连接网络中导致梯度消失的原因，从权值更新公式、损失函数定义到反向传播的计算过程，逐步阐述了梯度消失的现象，并指出在网络结构不变的情况下，梯度消失问题会随着隐藏层数量增加而加剧。
前言：各位读者好，如果有看不懂的地方请留言，我会根据留言修正文章^_^
前提：以全连接网络为例进行解析，该全连接网络包含一个输入层，一个隐藏层，一个输出层，
为
函数。默认读者已经了解全连接网络的前向传播规则。
网络结构如图。
一、定义权值更新公式
权值更新公式定义为
其中
表示
，
表示的是数值从节点
向节点
传递的那条线上的权重（记住这个下标命名规则，下文都是按照这个规则来命名下标的）。
在这里先放出推导完毕的权值更新公式
（①）
对于输出层节点
](https://i-blog.csdnimg.cn/blog_migrate/385b24518233354aee8901f1258f8d3f.gif)
（②）
对于隐藏层节点
![\delta _{i}=[a_{i}(1-a_{i})]\sum_{k\in Downstream(i)}\omega _{ki}\delta _{k}](https://i-blog.csdnimg.cn/blog_migrate/71445ef36a7cc739b53fab87b18a1031.gif)
（③）
留意[]中的公式，这是函数的导数，如果采用的是
函数
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
