RNN、LSTM、GRU
关注
分享
扫一扫
WangXu__
这个作者很懒，什么都没留下…
展开
-
1.RNN
RNN（Recurrent Neural Network）一、RNN的概述 比较擅长处理时间序列以及一些结构性的输入。RNN在前向传播的过程中，在t时刻，不仅传入当前状态xt，而且同时传入t-1时刻的隐藏状态ht-1，因此在t时刻不仅考虑输入，而且会考虑前几个状态，从而预测该状态，产生该状态的输出。二、RNN的前向传播 &nb...原创 2019-07-16 17:08:45 · 396 阅读 · 0 评论 -
2.LSTM
LSTM（long short-Term Memory，长短时记忆模型）一、LSTM简述 LSTM是基于RNN进行修改，属于RNN的一种变形，为了避免RNN中出现的梯度消失问题。对比RNN，LSTM中多了一条贯穿所有状态的记忆状态，所有的遗忘门、记忆们、输出门也都结合记忆状态进行操作。二、LSTM的具体结构 &...原创 2019-07-16 17:17:52 · 536 阅读 · 0 评论 -
3.GRU
GRU（Gated Recurrent Unit）一、GRU简述 GRU是LSTM的一个变体，其合并了LSTM的输入门和遗忘门，并且合并了记忆状态和隐藏状态。在GRU中除了贯穿于整个状态的隐藏状态外，只有更新门和重置门。因此GRU参数上比LSTM少很多，并且训练速度也比LSTM快。二、具体结构 三、结构模块解析 &...原创 2019-07-16 17:21:21 · 1598 阅读 · 0 评论