RNN的bp
来源:https://zybuluo.com/hanbingtao/note/581764
RNN的权重向下层输出的同时,会将权重返回到本层的输入处,和下一次的输入加和
RNN只用了一个权重保存节点的状态,LSTM用了两个权重来保存,新加的状态称为单元状态(cell stat)
对长程记忆和短程记忆的控制,可以参考LSTM单元来了解:
LSTM用三个门来控制数据的流动:f,i,o,其中forget门控制 Ct−1到Ct的 C t − 1 到 C t 的 量,input门控制 ht−1和xt到Ct的量 h t − 1 和 x t 到 C t 的 量 ,output门控制 Ct到ht的量 C t 到 h t 的 量
GRU有两个门,一个状态:
输入门、遗忘门、输出门变为两个门:更新门(Update Gate)和重置门(Reset Gate)