本文介绍了RNN的反向传播（bp）过程，重点阐述了RNN如何通过权重将信息传递给下一层及自身输入，并对比了LSTM和GRU在记忆控制上的差异，如LSTM的f,i,o门和GRU的更新门、重置门。"
131028189,18870397,Python反向排序与延迟绑定：高阶函数揭秘,"['Python编程', '算法', '数据处理', '函数', '编程技巧']
RNN的bp
来源：https://zybuluo.com/hanbingtao/note/581764
RNN的权重向下层输出的同时，会将权重返回到本层的输入处，和下一次的输入加和
RNN只用了一个权重保存节点的状态，LSTM用了两个权重来保存，新加的状态称为单元状态（cell stat）
对长程记忆和短程记忆的控制，可以参考LSTM单元来了解：
LSTM用三个门来控制数据的流动：f,i,o，其中forget门控制 Ct−1到Ct的 C t − 1 到 C t 的 量，input门控制 ht−1和xt到Ct的量 h t − 1 和 x t 到 C t 的 量 ，output门控制 Ct到ht的量 C t 到 h t 的 量
GRU有两个门，一个状态：
输入门、遗忘门、输出门变为两个门：更新门（Update Gate）和重置门（Reset Gate）
扫一扫
6944
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
