RNN：解锁序列数据奥秘的深度学习神器

大雨淅淅

于 2025-05-14 12:20:38 发布

阅读量998

点赞数 16

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签：深度学习 rnn 人工智能

本文链接：https://blog.youkuaiyun.com/xiaoyingxixi1989/article/details/147950945

四、RNN 在 Python 中的应用实操

（一）RNN 面临的梯度消失与梯度爆炸问题分析

（二）LSTM 与 GRU：RNN 的改良变种介绍

（一）自适应学习率策略提升 RNN 训练稳定性

一、从神经网络发展脉络看 RNN 的诞生

在人工智能的发展历程中，神经网络无疑是一颗璀璨的明星，而循环神经网络（Recurrent Neural Network，RNN）更是其中独特的存在。要深入理解 RNN，我们不妨先回顾一下神经网络的发展脉络。

神经网络的起源可以追溯到上个世纪中叶，最初诞生的是感知机（Perceptron）。它就像一个简单的开关，拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换后在输出层得到分类结果，但其结构简单，能力有限，就连 “异或” 这样简单的逻辑运算都无法处理，就如同一个蹒跚学步的婴儿，只能完成最基础的任务。

为了克服感知机的局限，多层感知机（Multilayer Perceptron，MLP）应运而生。它增加了更多的隐含层，就像是给婴儿配备了更强大的大脑，让网络能够处理更复杂的任务，解决了之前无法模拟异或逻辑的缺陷，能够处理一些非线性问题。但随着网络层数的不断增加，新的问题又接踵而至。一方面，优化函数容易陷入局部最优解，就像在迷宫中迷失方向，难以找到真正的全局最优；另一方面，“梯度消失” 现象愈发严重，低层的神经元接收不到有效的训练信号，导致深层网络的训练变得异常困难。

尽管多层感知机在不断发展，但在处理某些特定类型的数据时，传统的神经网络仍然显得力不从心，尤其是在面对时序数据时。时序数据，如股票价格的波动、语音信号的变化、自然语言的文本序列等，它们的元素之间存在着时间上的依赖关系。而传统神经网络在处理这些数据时，假设输入数据之间相互独立，无法有效捕获和利用时间序列或序列数据中的顺序依赖信息。例如，在预测股票价格时，今天的价格往往与过去一段时间的价格走势密切相关；在语音识别中，当前的语音片段需要结合之前的语音信息才能准确理解其含义；在自然语言处理中，一个单词的理解离不开它前面的语境。传统神经网络缺乏 “记忆” 能力，无法存储先前的输入信息，无法共享在不同时间学习到的特征，这对于时序数据的处理是一个重大缺陷。

正是为了解决传统神经网络在处理时序数据时的这些局限性，RNN 诞生了。RNN 的出现，就像是给神经网络赋予了 “记忆” 的能力，它打破了传统神经网络信息传递的单向性，通过引入循环连接，使得网络能够保存之前的信息，并将其传递到下一步的计算中。在 RNN 中，神经元不仅可以接收前一层的输入，还可以接收自身上一时刻的输出作为输入，这使得它能够捕捉到数据中随时间演变的动态模式，成为处理序列和时间数据的强大工具。

RNN 的诞生，在神经网络的发展历程中具有举足轻重的地位，它开启了神经网络处理时序数据的新篇章，为自然语言处理、语音识别、时间序列分析等领域带来了新的突破和发展机遇。下一部分，我们将深入探讨 RNN 的内部结构和工作原理，揭开它神秘的面纱。

二、RNN 基础架构与运行原理详解

（一）基本单元结构剖析

RNN 的基本单元是其处理序列数据的核心组件，它的设计精巧地融合了当前输入与历史信息，赋予了 RNN 处理序列依赖关系的能力。

在这个基本单元中，主要涉及到三个关键部分：输入层、隐藏层和输出层。当 RNN 开始处理数据时，在每个时间步\(t\)，输入层会接收到当前时刻的输入\(x_t\)，这个输入可以是一个特征向量，例如在自然语言处理中，它可能是一个单词经过独热编码或词嵌入后的向量表示；在时间序列预测中，它可能是某一时刻的观测值向量。

与此同时，隐藏层会接收来自上一时刻的隐藏状态\(h_{t - 1}\)，这个隐藏状态就像是 RNN 的 “记忆”，承载着之前时间步的信息。隐藏层会将当前输入\(x_t\)与上一时刻的隐藏状态\(h_{t - 1}\)进行拼接。在数学运算上，为了实现信息的有效融合与变换，会引入权重矩阵。将拼接后的向量分别与输入权重矩阵\(W_x\)和隐藏状态权重矩阵\(W_h\)相乘，再加上偏置项\(b\)，最后通过激活函数\(f\)进行非线性变换，从而得到当前时刻的隐藏状态\(h_t\) 。用数学表达式表示为：\(h_t = f(W_x x_t + W_h h_{t - 1} + b)\) 。这里的激活函数\(f\)通常选用 tanh 函数或 ReLU 函数。以 tanh 函数为例，它能将输入值映射到\([-1, 1]\)的区间内，通过引入非线性，使得 RNN 可以学习到更复杂的模式。比如在判断一句话的情感倾向时，不同词汇的组合以及它们出现的先后顺序都蕴含着复杂的情感信息，通过激活函数处理后的隐藏状态能够捕捉到这些非线性关系。

而输出层则根据当前时刻的隐藏状态\(h_t\)来生成输出\(y_t\) 。其计算方式通常是将隐藏状态\(h_t\)与输出权重矩阵\(W_y\)相乘，再加上输出偏置项\(b_y\)，即\(y_t = W_y h_t + b_y\) 。在不同的应用场景中，输出\(y_t\)有着不同的含义。在文本生成任务中，\(y_t\)可能是预测下一个单词的概率分布；在时间序列预测中，\(y_t\)就是对下一时刻数值的预测结果。

（二）沿时间轴的信息传递过程

为了更直观地理解 RNN 沿时间轴的信息传递过程，我们以预测股票价格走势为例。假设我们有过去若干天的股票收盘价数据，将这些数据按时间顺序组成一个时间序列。

在第一个时间步\(t = 1\)时，输入\(x_1\)是第一天的股票收盘价，由于是起始时刻，隐藏状态\(h_0\)通常初始化为零向量。根据前面提到的公式\(h_1 = f(W_x x_1 + W_h h_0 + b)\)，计算得到第一个时间步的隐藏状态\(h_1\) ，这个\(h_1\)就包含了第一天股票收盘价的信息。

当时间步推进到\(t = 2\)，输入\(x_2\)是第二天的股票收盘价，此时隐藏层接收\(x_2\)和上一时刻的隐藏状态\(h_1\) 。再次运用公式\(h_2 = f(W_x x_2 + W_h h_1 + b)\)，计算得到\(h_2\) 。可以看到，\(h_2\)不仅包含了第二天股票收盘价\(x_2\)的信息，还融合了第一天的信息（通过\(h_1\)传递过来）。

依此类推，随着时间步的不断推进，每个时间步的隐藏状态都融合了之前所有时间步的信息。在最后一个时间步\(T\)，得到隐藏状态\(h_T\) ，输出层根据\(h_T\)计算出预测的股票价格\(y_T\) ，即\(y_T = W_y h_T + b_y\) 。这个预测价格\(y_T\)是基于之前所有时间步的股票价格信息得到的，体现了 RNN 对时间序列数据中依赖关系的捕捉能力。

同样，在处理文本数据时，比如生成一句话。第一个时间步输入句子的第一个单词，隐藏状态根据这个单词和初始隐藏状态（通常为零向量）计算更新；第二个时间步输入第二个单词，隐藏状态融合了第一个单词和第二个单词的信息进行更新，直到生成整个句子。每个时间步的隐藏状态都保留了之前单词的语义信息，使得生成的文本符合语言逻辑和上下文语境。

（三）展开的 RNN 网络架构展示

为了更清晰地呈现 RNN 的内部结构和信息流动，我们来看展开的 RNN 网络架构图（如下）：

┌─────────────┐

│ 输入层(x_t) │

└─────────────┘

│

▼

┌─────────────┐

│ 隐藏层(h_t) │

└─────────────┘

│

▼

┌─────────────┐

│ 输出层(y_t) │

└─────────────┘

在这个展开的架构图中，最上方是输入层，它在每个时间步接收输入数据\(x_t\) 。中间部分是隐藏层，隐藏层通过循环连接接收上一时刻的隐藏状态\(h_{t - 1}\)和当前时刻的输入\(x_t\)，进行信息融合和变换得到当前隐藏状态\(h_t\) 。最下方是输出层，根据隐藏层输出的\(h_t\)计算得到输出\(y_t\) 。

信息在这个展开网络中的流动方向十分明确。从时间维度上看，随着时间步的推进，输入数据依次进入输入层，然后传递到隐藏层。隐藏层在每个时间步都要进行一次计算，将当前输入和上一时刻隐藏状态进行处理，得到新的隐藏状态，并将其传递到下一个时间步。输出层则在每个时间步根据隐藏层的输出计算输出结果。这种信息流动方式使得 RNN 能够按顺序处理序列数据，充分利用序列中的时间依赖关系。例如在语音识别任务中，语音信号被按时间顺序切分成多个片段依次输入 RNN，隐藏层不断更新状态以融合不同时间片段的语音特征信息，最终输出层根据隐藏层状态识别出对应的文本内容。

三、RNN 的数学原理深入探究

（一）前向传播详细推导

在上一部分我们了解了 RNN 的基础架构与运行原理，这一部分我们将深入到数学层面，详细推导 RNN 的前向传播过程。

假设我们有一个包含输入层、隐藏层和输出层的简单 RNN 单元。在时间步\(t\)，输入向量\(x_t\)的维度为\(d_x\)，隐藏状态向量\(h_t\)的维度为\(d_h\)，输出向量\(y_t\)的维度为\(d_y\) 。

输入层到隐藏层的权重矩阵\(W_x\)的维度是\(d_h \times d_x\)，隐藏层到隐藏层的权重矩阵\(W_h\)的维度是\(d_h \times d_h\)，隐藏层到输出层的权重矩阵\(W_y\)的维度是\(d_y \times d_h\) 。偏置向量\(b\)的维度为\(d_h\)，输出偏置向量\(b_y\)的维度为\(d_y\) 。

在起始时刻\(t = 0\)，隐藏状态\(h_0\)通常被初始化为零向量，即\(h_0 = \vec{0}\) 。

当时间步为\(t\)时，输入\(x_t\)与上一时刻的隐藏状态\(h_{t - 1}\)进入隐藏层。首先，将\(x_t\)与\(W_x\)相乘，\(h_{t - 1}\)与\(W_h\)相乘，然后将这两个结果相加，再加上偏置\(b\) ，得到一个中间结果\(z_t\) ，用公式表示为：

\( z_t = W_x x_t + W_h h_{t - 1} + b \)

接下来，通过激活函数\(f\)对\(z_t\)进行非线性变换，得到当前时间步的隐藏状态\(h_t\) ，即：

\( h_t = f(z_t) = f(W_x x_t + W_h h_{t - 1} + b) \)

这里的激活函数\(f\)，如前文提到的，常见的选择有 tanh 函数，其数学表达式为\(f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}\)，它将输入值映射到\([-1, 1]\)区间；还有 ReLU 函数，表达式为\(f(x) = \max(0, x)\)，当输入大于 0 时，直接输出输入值，当输入小于等于 0 时，输出 0 。

得到隐藏状态\(h_t\)后，它会被传递到输出层。在输出层，\(h_t\)与权重矩阵\(W_y\)相乘，再加上输出偏置\(b_y\)，得到输出\(y_t\) ，公式为：

\( y_t = W_y h_t + b_y \)

例如，在一个简单的文本分类任务中，假设输入的单词经过词嵌入后表示为一个 100 维的向量（即\(d_x = 100\)），隐藏层有 50 个神经元（\(d_h = 50\)），输出是一个表示文本类别的 10 维向量（\(d_y = 10\)）。在某一时刻\(t\)，输入\(x_t\)是一个 100 维的单词向量，上一时刻隐藏状态\(h_{t - 1}\)是 50 维向量。\(W_x\)是一个\(50 \times 100\)的矩阵，\(W_h\)是一个\(50 \times 50\)的矩阵，\(W_y\)是一个\(10 \times 50\)的矩阵。按照上述公式进行计算，先通过\(z_t = W_x x_t + W_h h_{t - 1} + b\)得到中间结果\(z_t\) ，再经过激活函数（如 tanh 函数）得到\(h_t\) ，最后通过\(y_t = W_y h_t + b_y\)得到输出\(y_t\) ，这个\(y_t\)就是对当前文本类别的预测结果（经过 softmax 函数处理后可得到每个类别的概率）。

随着时间步的不断推进，从\(t = 1\)到\(t = T\)（\(T\)为序列的总时间步数），上述过程不断重复，每个时间步的隐藏状态都融合了之前所有时间步的信息，最终得到整个序列的输出。

（二）损失函数与反向传播解析

在了解了 RNN 的前向传播过程后，我们来探讨 RNN 的损失函数以及基于损失函数的反向传播过程，这对于训练 RNN 模型至关重要。

损失函数

RNN 常用的损失函数之一是交叉熵损失函数（Cross - Entropy Loss）。在分类问题中，交叉熵损失函数用于衡量模型预测的概率分布与真实标签的概率分布之间的差异。假设我们的 RNN 模型要对一个包含\(T\)个时间步的序列进行分类，类别数为\(C\) 。在时间步\(t\)，模型预测的类别概率分布为\(p_{t,c}\)（其中\(c = 1, 2, \cdots, C\)），真实标签的 one - hot 编码为\(y_{t,c}\)（如果第\(t\)个时间步的真实类别是\(c\)，则\(y_{t,c} = 1\)，否则\(y_{t,c} = 0\)）。那么在时间步\(t\)的交叉熵损失\(L_t\)为：

\( L_t = - \sum_{c = 1}^{C} y_{t,c} \log(p_{t,c}) \)

整个序列的交叉熵损失\(L\)就是所有时间步损失的平均值，即：

\( L = \frac{1}{T} \sum_{t = 1}^{T} L_t = - \frac{1}{T} \sum_{t = 1}^{T} \sum_{c = 1}^{C} y_{t,c} \log(p_{t,c}) \)

例如，在一个词性标注任务中，有名词、动词、形容词等 10 个词性类别（\(C = 10\)），对于一个长度为 20 的句子（\(T = 20\)）。在第 5 个时间步，模型预测某个单词是名词的概率为\(0.3\)，是动词的概率为\(0.2\)，以此类推，而该单词的真实词性是名词（即\(y_{5,1} = 1\)，其余\(y_{5,c} = 0\)，\(c \neq 1\)）。那么第 5 个时间步的损失\(L_5 = - \log(0.3)\) 。通过计算每个时间步的损失并求平均，就得到了整个句子的损失\(L\) 。这个损失值反映了模型预测与真实标签之间的差距，我们的目标就是通过训练不断减小这个损失值。

反向传播

反向传播的目的是根据损失函数计算出的误差，来调整模型中的权重参数，使得损失函数值不断减小。RNN 的反向传播算法称为时间反向传播算法（Backpropagation Through Time，BPTT），它本质上是传统反向传播算法在时间维度上的扩展。

在反向传播过程中，首先计算损失函数\(L\)对输出\(y_t\)的梯度\(\frac{\partial L}{\partial y_t}\) 。根据交叉熵损失函数的求导公式，对于\(y_{t,c}\)，有：

\( \frac{\partial L}{\partial y_{t,c}} = - \frac{y_{t,c}}{p_{t,c}} \)

然后，通过链式法则计算损失函数对隐藏状态\(h_t\)的梯度\(\frac{\partial L}{\partial h_t}\) 。因为\(y_t = W_y h_t + b_y\)，所以：

\( \frac{\partial L}{\partial h_t} = \frac{\partial L}{\partial y_t} W_y^T \)

接下来计算损失函数对权重矩阵\(W_y\)和偏置\(b_y\)的梯度。对于权重矩阵\(W_y\)，其梯度\(\frac{\partial L}{\partial W_y}\)为：

\( \frac{\partial L}{\partial W_y} = \frac{\partial L}{\partial y_t} h_t^T \)

对于偏置\(b_y\)，其梯度\(\frac{\partial L}{\partial b_y}\)为：

\( \frac{\partial L}{\partial b_y} = \frac{\partial L}{\partial y_t} \)

而对于隐藏层的权重矩阵\(W_x\)和\(W_h\)以及偏置\(b\)，由于隐藏状态\(h_t\)依赖于之前所有时间步的输入和隐藏状态，所以计算它们的梯度更为复杂。以计算\(\frac{\partial L}{\partial W_h}\)为例，我们需要考虑从当前时间步\(t\)到初始时间步\(0\)的所有时间步的影响。通过链式法则展开，可以得到：

\( \frac{\partial L}{\partial W_h} = \sum_{k = 0}^{t} \frac{\partial L}{\partial h_t} \frac{\partial h_t}{\partial h_k} \frac{\partial h_k}{\partial W_h} \)

其中，\(\frac{\partial h_t}{\partial h_k}\)表示从时间步\(k\)到时间步\(t\)隐藏状态的变化对当前隐藏状态\(h_t\)的影响。在计算过程中，会涉及到激活函数的导数。例如，如果激活函数\(f\)是 tanh 函数，其导数\(f'(x) = 1 - f(x)^2\) 。

梯度消失和梯度爆炸问题及其产生原因

在 RNN 的反向传播过程中，容易出现梯度消失（Gradient Vanishing）和梯度爆炸（Gradient Exploding）问题。

梯度消失问题是指在反向传播过程中，梯度随着时间步的回溯而逐渐减小，甚至趋近于零。这使得早期时间步的权重更新非常缓慢，模型难以学习到长期依赖关系。从数学角度来看，在计算\(\frac{\partial L}{\partial W_h}\)时，会涉及到连乘项\(\prod_{i = k}^{t - 1} \frac{\partial h_{i + 1}}{\partial h_i}\) 。如果激活函数的导数\(f'(x)\)小于 1，那么随着连乘项的增多，这个乘积会越来越小，导致梯度消失。例如，sigmoid 函数的导数最大值为 0.25，当使用 sigmoid 函数作为激活函数时，就很容易引发梯度消失问题。

梯度爆炸问题则相反，是指梯度在反向传播过程中不断增大，导致参数更新过大，模型无法收敛。这通常是由于权重矩阵初始化时取值过大，或者在反向传播过程中连乘项\(\prod_{i = k}^{t - 1} \frac{\partial h_{i + 1}}{\partial h_i}\)的值大于 1，使得梯度以指数形式增长。例如，当权重矩阵初始化时，其元素取值过大，在反向传播计算梯度时，就可能会导致梯度爆炸。

梯度消失和梯度爆炸问题严重影响了 RNN 的训练效果和性能，为了解决这些问题，研究者们提出了一些改进方法，如使用 LSTM（长短期记忆网络）和 GRU（门控循环单元）等变体结构，这些我们将在下一部分详细介绍。

四、RNN 在 Python 中的应用实操

（一）搭建简单 RNN 模型的基础框架

在 Python 中，有许多强大的深度学习框架可供选择来搭建 RNN 模型，这里我们以 Keras 和 PyTorch 为例，展示如何搭建简单 RNN 模型的基础框架。

Keras 搭建 RNN 模型

Keras 以其简洁易用的 API 而备受欢迎。首先，确保已经安装了 Keras 和相关依赖库。假设我们要搭建一个用于时间序列预测的简单 RNN 模型，代码如下：

from keras.models import Sequential

from keras.layers import SimpleRNN, Dense

import numpy as np

# 生成一些简单的时间序列数据

timesteps = 10

features = 1

data = np.random.random((100, timesteps, features))

labels = np.random.random((100, 1))

# 搭建RNN模型

model = Sequential()

# SimpleRNN层，units=32表示隐藏层有32个神经元，activation='tanh'使用tanh激活函数，input_shape指定输入数据的形状

model.add(SimpleRNN(units=32, activation='tanh', input_shape=(timesteps, features)))

# Dense层作为输出层，units=1表示输出一个值

model.add(Dense(units=1))

# 编译模型，指定优化器为adam，损失函数为均方误差

model.compile(optimizer='adam', loss='mean_squared_error')

在这段代码中，Sequential是 Keras 中用于构建模型的类，它允许我们按顺序添加层。SimpleRNN层是 RNN 的核心层，units参数指定了隐藏层神经元的数量，这里设置为 32，这意味着隐藏层将有 32 个神经元来处理输入数据和上一时刻的隐藏状态。activation='tanh'指定了激活函数为 tanh 函数，它将对隐藏层的输出进行非线性变换。input_shape=(timesteps, features)指定了输入数据的形状，这里timesteps表示时间步长为 10，features表示每个时间步的特征数量为 1