深度理解机器学习16-门控循环单元

·评估简单循环神经网络的缺点。

·描述门控循环单元（Gated Recurrent Unit，GRU）的架构。

·使用GRU进行情绪分析。

·将GRU应用于文本生成。

基本RNN通常由输入层、输出层和几个互连的隐藏层组成。最简单的RNN有一个缺点，那就是它们不能在序列中保持长期关系。为了纠正这个缺陷，需要在简单RNN网络中添加一个特殊的层，称为门控循环单元。

 

梯度爆炸

梯度不仅会消失，而且还会爆炸。也就是说，前面的层会学习得太快，每次训练迭代之间的值会有很大的偏差，而后面的层的梯度变化不会很快。这是怎么发生的呢？重新审视我们的方程，如果单个项的值远大于1，乘法效应会导致梯度变大，从而造成梯度不稳定，并引起学习问题。

梯度爆炸问题有一个强大的解决方案：裁剪。裁剪仅仅是指阻止梯度的值增长至超过预定义的值。如果该值未被裁剪，由于计算机的典型溢出，你将开始看到网络梯度和权重的NaS（非数字）。设定值上限将有助于避免这一问题。注意，裁剪仅限制梯度的大小，而不限制其方向。

门控循环单元

更新门

在时间步 t，我们首先需要使用以下公式计算更新门 z_t：<