LSTM解决梯度消失问题
为什么rnn循环神经网络会有梯度消失的情况，而lstm可以避免这种情况的发生？
使用梯度下降的方式来更新，如果有很多个这样的数相乘的话，就会使得梯度趋近于0。
梯度消失导致的问题其实是权重w几乎不更新，这样就很难找到一个合适的权重w,去映射输入值与输出值之间的关系。 - LSTM中神经元之间的连接不仅仅有h, 还有信息C, h在神经元之间的传递会经过sigmoid函数处理，但是C不会。所以与C相关的权重W的更新不会因为神经元链过长而产生梯度消失的现象（指的是，遗忘门，信息增益门的权重w）。但是输出门
原创
2021-09-02 16:06:53 ·
774 阅读 ·
0 评论
关注
分享
扫一扫