RNN & Seq2Seq

原创已于 2023-12-10 20:31:58 修改 · 1k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2023-05-28 10:27:28 首次发布

11 篇文章

订阅专栏

文章讨论了Feedforward与Recurrent神经网络的区别，重点在于RNN的训练问题，如梯度消失和梯度爆炸。为了解决这些问题，提出了梯度截断技术和门控RNN，如LSTM和GRU。LSTM的遗忘门能够有效地控制信息流动，防止梯度消失。此外，还提到了Seq2Seq模型在条件生成中的应用。

部署运行你感兴趣的模型镜像

Feedforward v.s. Recurrent

在这里插入图片描述

在这里插入图片描述
双向递归层可以提供更好的识别预测效果，但却不能实时预测，由于反向递归的计算需要从最末时刻开始，网络不得不等待着完整序列都产生后才可以开始预测。在对于实时识别有要求的线上语音识别，其应用受限

在这里插入图片描述

梯度截断
梯度截断（Gradient Clipping）是一种用于解决梯度爆炸问题的技术。在深度学习中，由于网络层数的增加和反向传播算法的存在，梯度可能会变得非常大，导致网络无法收敛。
为了解决这个问题，可以采用梯度截断技术，即限制梯度的大小，使其不超过一个指定的阈值。

在这里插入图片描述

在实践中，如果序列过长会导致优化时出现梯度消散或梯度爆炸的问题，从而丧失学
习到连接如此远的信息的能力

为了有效的利用梯度下降法学习，我们希望使不断相乘的梯度的积保持在接近1的数
值。目前最有效的方式gated RNNs，通过gates的调控，允许线性自连接的权重在
每一步都可以自我变化调节。LSTM就是gated RNNs中的一个实现

梯度消失的原因之一：tanh激活函数求导后的连乘

LSTM 能解决梯度消失的问题，遗忘门
- LSTM的遗忘门可以控制信息的流动，从而避免了梯度消失的问题。在传统的RNN中，每个时间步的输入和前一时刻的隐藏状态都会被直接传递到下一时刻，这样会导致信息在时间序列中不断累积，从而导致梯度消失或梯度爆炸的问题。而LSTM的遗忘门可以选择性地遗忘前一时刻的隐藏状态，从而控制信息的流动，避免了信息在时间序列中的累积。同时，LSTM的门控机制也可以控制信息的输入和输出，从而进一步避免了梯度消失或梯度爆炸的问题。因此，LSTM的遗忘门能够有效地解决梯度消失的问题。

在这里插入图片描述

GRU模型如下，它只有两个门了，分别为更新门和重置门，即图中的𝑧𝑡和𝑟𝑡。