3.GRU

GRU（Gated Recurrent Unit）

一、GRU简述

    GRU是LSTM的一个变体，其合并了LSTM的输入门和遗忘门，并且合并了记忆状态和隐藏状态。在GRU中除了贯穿于整个状态的隐藏状态外，只有更新门和重置门。因此GRU参数上比LSTM少很多，并且训练速度也比LSTM快。

二、具体结构

三、结构模块解析

    3.1、更新门：控制前一时刻的隐藏状态被带入到当前状态的程度。更新门值越大，表示前一状态信息带入的越多。

    3.2、重置门：控制前一状态有多少信息是被写入到当前的隐藏状态和输出上的。重置门值越大，表示前一状态信息被写入的就越少。

四、前向传播

    其中rt为更新门，rt是得到0-1范围之间的数，因此该值越大，选择要上一状态的信息被带入到该状态的信息就越多。
    zt为重置门。1 - Zt表示要保留的上一阶段隐藏状态的信息量，Zt越大，表示保留的上一状态保留的信息量就越少。

五、LSTM于GRU的对比