31、循环神经网络架构与扩展技术解析

循环神经网络架构与扩展技术解析

1. 深度循环神经网络架构

1.1 堆叠循环神经网络

在循环神经网络（RNN）中，使用多个较小的层可能比使用单个较大的层更高效，因为RNN的权重规模是二次方的。此外，融合RNN层还能实现计算优化。然而，堆叠RNN存在梯度消失问题，这是由于网络深度和时间步长的影响。为解决此问题，RNN借鉴了深度学习其他领域的方法，引入了残差连接和深度卷积网络中的高速公路网络。

1.2 残差LSTM

残差长短期记忆网络（Residual LSTM）通过在LSTM层之间使用残差连接，为较低层提供更强的梯度，用于释义生成等任务。残差层通常应用于卷积网络，它允许低层信息的“残差”传递到网络的后续层，为高层提供低层信息，并使更大的梯度能够传递到早期层。在LSTM的定义中，$h_t$的计算公式更新为：
$h_t = o_t \cdot (W_p \cdot \tanh(c_t) + W_hx_t)$
其中，$W_p$是投影矩阵，$W_h$是使$x_t$和$h_t$尺寸匹配的单位矩阵。当$x_t$和$h_t$的维度相同时，公式变为：
$h_t = o_t \cdot (W_p \cdot \tanh(c_t) + x_t)$
需要注意的是，输出门是在输入$x_t$相加之后应用的。

1.3 循环高速公路网络

循环高速公路网络（Recurrent Highway Networks，RHN）为多层RNN架构中循环层之间的梯度传播提供了一种门控方法。它是LSTM架构的扩展，允许循环层之间进行门控连接，从而增加了深度RNN可以堆叠的层数。对于一个具有$L$层和输出$s^{(L)}