第6章 循环神经网络
前馈神经网络(比如CNN)的输入和输出是固定维度的,且信息单向传播,无法处理时序数据(比如语音、文本、视频)——这类数据的长度不固定,且当前输出依赖历史信息(比如理解“他昨天去了公园,今天还想去那里”,“那里”依赖“公园”这个历史信息)。
循环神经网络(RNN)的核心是引入记忆能力——神经元不仅接收当前输入,还接收自身的历史输出(通过反馈连接形成环路),能处理任意长度的时序数据,适合序列预测、语言建模、机器翻译等任务。
本章会从“如何给网络加记忆”入手,逐步讲解RNN的结构、核心问题(长程依赖)、改进方案(门控机制),以及扩展模型,帮你搞懂RNN的工作原理和应用。
6.1 给网络增加记忆能力:为什么需要RNN?
前馈网络是“静态”的,没有记忆,要处理时序数据,必须主动增加“记忆模块”。常见的方法有三种:
6.1.1 延时神经网络(TDNN):直接存储历史信息
- 核心思路:在前馈网络的非输出层加“延时器”,存储神经元最近K次的输出(历史信息);
- 例子:第t时刻的神经元输出,不仅依赖当前输入,还依赖前K个时刻的输入(比如t-1、t-2、…、t-K);
- 数学表达:ht(l)=f(ht(l−1),ht−1(l−1),...,ht−K(l−1))h_t^{(l)} = f(h_t^{(l-1)}, h_{t-1}^{(l-1)}, ..., h_{t-K}^{(l-1)})ht(l)=f(ht(l−1),ht−1(l−1),...,ht−K(l−1));
- 优点:简单直观,能捕捉短期依赖;
- 缺点:K是固定超参数(比如K=3),无法灵活捕捉变长的依赖(比如文本中“他”可能指代10个词前的“小明”)。
6.1.2 有外部输入的非线性自回归模型(NARX):结合输入和输出历史
- 核心思路:不仅存储输入的历史(最近Kₓ次输入),还存储输出的历史(最近Kᵧ次输出),用非线性函数整合;
- 例子:预测股票价格(t时刻输出),依赖最近3天的股票价格(输出历史)和最近7天的成交量(输入历史);
- 数学表达:yt=f(xt,xt−1,...,xt−Kx,yt−1,...,yt−Kγ)y_t = f(x_t, x_{t-1}, ..., x_{t-Kₓ}, y_{t-1}, ..., y_{t-Kᵧ})yt=f(xt,xt−1,...,xt−Kx,yt−1,...,yt−Kγ);
- 优点:比TDNN更灵活,能利用输出的历史反馈;
- 缺点:Kₓ和Kᵧ需要手动调整,无法自适应捕捉长依赖。
6.1.3 循环神经网络(RNN):通过自反馈实现动态记忆
- 核心思路:去掉固定的K,用“自反馈连接”让神经元的输出(隐状态)直接反馈到自身,形成环路——隐状态本身就是“动态记忆”,能累积所有历史信息;
- 例子:处理文本时,每个词的输入都会更新隐状态,隐状态里包含前面所有词的信息;
- 数学表达(简化版):ht=f(ht−1,xt)h_t = f(h_{t-1}, x_t)ht=f(ht−1,xt)(hth_tht是t时刻的隐状态,f是非线性函数);
- 优点:隐状态维度固定,能处理任意长度的时序数据,记忆能力自适应;
- 本质:RNN是一个“动力系统”,隐状态h_t随时间演化,相当于“存储装置”,能模拟任意非线性动力系统(理论上能模拟任何程序)。
6.2 简单循环网络(SRN):最基础的RNN
简单循环网络是RNN的“最小版本”——只有一个隐藏层,隐藏层神经元之间有反馈连接(自反馈),结构简单,能帮我们理解RNN的核心逻辑。
6.2.1 网络结构与信息传播
(1)结构组成
- 输入层:t时刻的输入向量xt∈RMx_t \in \mathbb{R}^Mxt∈RM(比如文本中某个词的嵌入向量);
- 隐藏层:t时刻的隐状态ht∈RDh_t \in \mathbb{R}^Dht∈RD(记忆模块,存储历史信息);
- 输出层:t时刻的输出yty_tyt(比如预测下一个词的概率);
- 核心连接:隐藏层的输出hth_tht会反馈到隐藏层的输入,参与下一个时刻的计算。
(2)数学表达(前馈过程)
- 隐状态更新(核心!记忆的体现):
ht=σ(Whht−1+Wxxt+bh)h_t = \sigma(W_h h_{t-1} + W_x x_t + b_h)ht=σ(Whht−1+Wxxt+bh)
其中:- Wh∈RD×DW_h \in \mathbb{R}^{D×D}Wh∈RD×D:隐状态到隐状态的权重(历史信息的传递权重);
- Wx∈RD×MW_x \in \mathbb{R}^{D×M}Wx∈RD×M:输入到隐状态的权重(当前输入的权重);
- bhb_hbh:隐状态的偏置;
- σ\sigmaσ:激活函数(常用tanh或ReLU,避免梯度消失)。
- 输出计算:
yt=Wyht+byy_t = W_y h_t + b_yyt=Wyht+by(分类任务需加Softmax,回归任务直接输出)。
(3)直观理解
- 隐状态h_t是“动态记忆”:t=1时,h₁只包含x₁的信息;t=2时,h₂包含x₁和x₂的信息;t=T时,hTh_ThT包含x₁到xTx_TxT的所有历史信息;
- 权重W_h是“记忆更新规则”:控制如何将历史记忆(ht−1h_{t-1}ht−1)和当前输入(xtx_txt)融合。
6.2.2 计算能力:能模拟任意非线性动力系统
理论上,简单循环网络的计算能力非常强——只要隐状态维度D足够大,就能以任意精度近似任意非线性动力系统(比如混沌系统、有限状态机)。
- 对比前馈网络:前馈网络能模拟任意连续函数,RNN能模拟任意“程序”(比如处理序列的逻辑、状态转换);
- 实际意义:RNN不仅能拟合数据,还能捕捉序列的“逻辑结构”(比如语法规则、时间规律)。
6.2.3 参数学习:随时间反向传播(BPTT)
RNN的参数(Wh、Wx、Wy、bh、byW_h、W_x、W_y、b_h、b_yWh、Wx、Wy、bh、by)通过“随时间反向传播(BPTT)”学习,核心是将时序数据“展开”成前馈网络,再用反向传播计算梯度。
(1)核心思路
- 展开:将长度为T的序列,展开成T个“串联的前馈网络”(每个时刻对应一个前馈网络,共享参数);
- 反向传播:从输出层(t=T)反向计算每个时刻的梯度,累积后更新参数;
- 损失函数:时序损失的总和,比如交叉熵损失之和L=∑t=1TL(yt,y^t)\mathcal{L} = \sum_{t=1}^T \mathcal{L}(y_t, \hat{y}_t)L=∑t=1TL(yt,y^t)。
(2)梯度计算的关键
隐状态hth_tht依赖ht−1h_{t-1}ht−1,因此梯度会通过ht−1h_{t-1}ht−1传递到更早的时刻,比如损失对hth_tht的梯度:
∂L∂ht=(Wh⊤)⋅∂L∂ht+1⋅σ′(ht)+∂L∂yt⋅Wy⊤\frac{\partial \mathcal{L}}{\partial h_t} = (W_h^\top) \cdot \frac{\partial \mathcal{L}}{\partial h_{t+1}} \cdot \sigma'(h_t) + \frac{\partial \mathcal{L}}{\partial y_t} \cdot W_y^\top∂ht∂L=(Wh⊤)⋅∂ht+1∂L⋅σ′(ht)+∂yt∂L⋅Wy⊤
- 梯度会沿着时间步传递,越早期的时刻,梯度需要传递的步数越多。
6.3 长程依赖问题:RNN的核心痛点
当序列很长时(比如文本长度T=1000),RNN的梯度会出现“梯度消失”或“梯度爆炸”——这就是长程依赖问题,导致RNN无法学习到长期的历史信息(比如文本中第10个词和第1000个词的关联)。
6.3.1 为什么会出现长程依赖?
核心原因是“梯度沿时间步传递时的累积效应”:
- 梯度消失:激活函数(比如tanh)的导数绝对值≤1,梯度经过T次传递后,会变成(导数)T(导数)^T(导数)T——T很大时,梯度趋近于0(比如0.9^100≈0),早期时刻的参数无法更新;
- 梯度爆炸:如果权重WhW_hWh的 eigenvalues>1,梯度经过T次传递后会指数增长(比如1.1^100≈13780),导致参数更新时溢出(NaN)。
6.3.2 直观例子
比如处理句子“我小时候住在上海,现在虽然在北京工作,但每年都会回____”,RNN需要记住“上海”(第4个词)才能预测最后一个词是“上海”。但如果句子很长(比如中间加100个词),RNN的梯度无法从最后一个词传递到“上海”对应的时刻,导致无法学习到这个依赖。
6.3.3 临时缓解方法
- 梯度裁剪:解决梯度爆炸,当梯度的模超过阈值时,缩放梯度(比如阈值=5,梯度模=10,则缩放为5);
- 选用ReLU激活函数:ReLU在x>0时导数=1,缓解梯度消失,但可能出现“死亡ReLU”;
- 权重初始化:让WhW_hWh的 eigenvalues≈1,减少梯度累积的极端情况;
- 局限性:这些方法只能缓解短期依赖(比如T=50),无法解决长期依赖(比如T=1000)。
6.4 门控循环网络:解决长程依赖的核心方案
为了解决长程依赖,研究者提出了“门控机制”——通过“门”来控制记忆的“遗忘”和“更新”,让有用的历史信息能保留到长期,无用的信息被丢弃。主流的门控网络有两种:LSTM和GRU。
6.4.1 长短期记忆网络(LSTM):最经典的门控网络
LSTM(Long Short-Term Memory)的核心是“引入三个门和一个细胞状态”,细胞状态像“传送带”,能稳定传递长期信息,门则控制信息的流入和流出。
(1)核心结构:细胞状态+三个门
- 细胞状态(Cell State):ct∈RDc_t \in \mathbb{R}^Dct∈RD,相当于“长期记忆通道”,直接在时间步间传递,只通过门进行少量修改(避免梯度消失);
- 遗忘门(Forget Gate):决定哪些历史信息(细胞状态ct−1c_{t-1}ct−1)要被遗忘;
- 公式:ft=σ(Wf[ht−1,xt]+bf)f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)ft=σ(Wf[ht−1,xt]+bf)(σ是Sigmoid,输出0~1,0=完全遗忘,1=完全保留);
- 输入门(Input Gate):决定哪些新信息(当前输入xtx_txt和历史隐状态ht−1h_{t-1}ht−1)要存入细胞状态;
- 公式:it=σ(Wi[ht−1,xt]+bi)i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)it=σ(Wi[ht−1,xt]+bi)(输入门控制是否存入),c~t=tanh(Wc[ht−1,xt]+bc)\tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)c~t=tanh(Wc[ht−1,xt]+bc)(新信息的候选值);
- 细胞状态更新:ct=ft⊙ct−1+it⊙c~tc_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_tct=ft⊙ct−1+it⊙c~t(遗忘旧信息,加入新信息);
- 输出门(Output Gate):决定细胞状态中的哪些信息要输出到隐状态hth_tht;
- 公式:ot=σ(Wo[ht−1,xt]+bo)o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)ot=σ(Wo[ht−1,xt]+bo),ht=ot⊙tanh(ct)h_t = o_t \odot \tanh(c_t)ht=ot⊙tanh(ct)。
(2)为什么能解决长程依赖?
- 细胞状态直接传递,梯度几乎不衰减(避免梯度消失);
- 遗忘门和输入门自适应控制:有用的长期信息(比如“上海”)被遗忘门保留,无用信息被丢弃,新信息按需加入。
(3)LSTM的变种
- .peephole连接:让门能观察细胞状态(比如ft=σ(Wf[ht−1,xt,ct−1]+bf)f_t = σ(W_f [h_{t-1}, x_t, c_{t-1}] + b_f)ft=σ(Wf[ht−1,xt,ct−1]+bf)),增强门的决策能力;
- 耦合遗忘门和输入门:让“遗忘”和“输入”联动(比如ft=1−itf_t = 1 - i_tft=1−it),减少参数。
6.4.2 门控循环单元(GRU):简化版LSTM
GRU(Gated Recurrent Unit)是LSTM的简化版,合并了细胞状态和隐状态,用两个门替代三个门,参数更少,训练更快,效果与LSTM相当。
(1)核心结构:两个门+隐状态
- 更新门(Update Gate):合并LSTM的遗忘门和输入门,决定“保留多少历史信息”和“加入多少新信息”;
- 公式:zt=σ(Wz[ht−1,xt]+bz)z_t = \sigma(W_z [h_{t-1}, x_t] + b_z)zt=σ(Wz[ht−1,xt]+bz)(输出0~1,0=完全保留历史,1=完全使用新信息);
- 重置门(Reset Gate):决定“是否忽略历史信息”,帮助捕捉短期依赖;
- 公式:rt=σ(Wr[ht−1,xt]+br)r_t = \sigma(W_r [h_{t-1}, x_t] + b_r)rt=σ(Wr[ht−1,xt]+br)(输出0~1,0=忽略历史,1=保留历史);
- 候选隐状态:h~t=tanh(Wh[rt⊙ht−1,xt]+bh)\tilde{h}_t = \tanh(W_h [r_t \odot h_{t-1}, x_t] + b_h)h~t=tanh(Wh[rt⊙ht−1,xt]+bh)(重置门控制历史信息的参与程度);
- 隐状态更新:ht=(1−zt)⊙ht−1+zt⊙h~th_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tht=(1−zt)⊙ht−1+zt⊙h~t(更新门控制历史和新信息的融合比例)。
(2)GRU与LSTM的对比
| 特性 | LSTM | GRU |
|---|---|---|
| 核心组件 | 细胞状态+3个门 | 隐状态+2个门 |
| 参数数量 | 多(3组权重) | 少(2组权重) |
| 适用场景 | 长序列、需精准记忆 | 一般序列、追求效率 |
6.4.3 门控网络的优势总结
- 解决长程依赖:通过门控机制和稳定的记忆通道,梯度能有效传递到早期时刻;
- 自适应记忆:自动决定“遗忘什么、保留什么”,不用手动调整记忆长度;
- 泛化能力强:在语言建模、机器翻译、语音识别等任务中表现远超简单RNN。
6.5 深层循环网络与双向循环网络
简单RNN和基础门控网络是“单层”的,为了增强表达能力,可通过“堆叠”和“双向”扩展,形成深层循环网络和双向循环网络。
6.5.1 深层循环网络(Stacked RNN)
- 核心思路:将多个RNN层堆叠起来,下层的输出(隐状态)作为上层的输入;
- 结构:输入xt→第1层RNN→ht1→第2层RNN→ht2→...→第L层RNN→输出ytx_t → 第1层RNN → h_t^1 → 第2层RNN → h_t^2 → ... → 第L层RNN → 输出y_txt→第1层RNN→ht1→第2层RNN→ht2→...→第L层RNN→输出yt;
- 优点:深层结构能提取更抽象的时序特征(比如下层提取词级特征,上层提取句子级特征);
- 注意:需要更多参数和数据,训练时容易过拟合,需配合正则化(比如Dropout)。
6.5.2 双向循环网络(Bi-RNN)
- 核心问题:很多任务需要“未来信息”(比如文本情感分析中,“我不觉得这个电影好”,“不”需要结合后面的“好”才能判断情感);
- 核心思路:同时使用两个RNN(正向RNN和反向RNN),正向RNN处理过去→现在的信息,反向RNN处理未来→现在的信息,最后拼接两者的隐状态;
- 结构:
- 正向RNN:x1→x2→...→xTx₁→x₂→...→x_Tx1→x2→...→xT,输出htfh_t^fhtf(包含x1 xtx₁~x_tx1 xt的信息);
- 反向RNN:xT→xT−1→...→x1x_T→x_{T-1}→...→x₁xT→xT−1→...→x1,输出htbh_t^bhtb(包含xt xTx_t~x_Txt xT的信息);
- 融合:ht=[htf,htb]h_t = [h_t^f, h_t^b]ht=[htf,htb](拼接),再输入输出层;
- 适用场景:自然语言处理(分词、词性标注、情感分析)、语音识别等需要上下文信息的任务。
6.6 扩展到图结构:递归神经网络与图神经网络
RNN主要处理“线性序列”(比如文本、语音),但很多数据是“非线性结构”(比如树、知识图谱、社交网络)——需将RNN扩展到图结构,形成递归神经网络和图神经网络。
6.6.1 递归神经网络(Recursive Neural Network)
- 核心思路:处理树结构数据(比如句法树、分子结构),将RNN的“时序循环”改为“树结构递归”;
- 结构:树的每个节点对应一个神经元,节点的输入是自身特征+子节点的隐状态,通过递归计算得到根节点的隐状态;
- 例子:句法树分析中,“我喜欢读书”的句法树是“主谓宾结构”,每个短语(比如“喜欢读书”)的隐状态由子节点(“喜欢”“读书”)计算得到,根节点的隐状态代表整个句子的语义;
- 优点:能捕捉树结构的层级关系,比RNN更适合处理有明确层级的 data。
6.6.2 图神经网络(Graph Neural Network, GNN)
- 核心思路:处理任意图结构数据(比如社交网络、知识图谱、交通网络),将RNN的“时序依赖”改为“图节点依赖”;
- 核心思想:每个节点的隐状态由“自身特征”和“邻居节点的隐状态”共同更新(消息传递机制);
- 数学表达(简化版):hv(k)=f(hv(k−1),∑u∈N(v)hu(k−1))h_v^{(k)} = f(h_v^{(k-1)}, \sum_{u \in N(v)} h_u^{(k-1)})hv(k)=f(hv(k−1),∑u∈N(v)hu(k−1));
其中N(v)是节点v的邻居,k是迭代次数(更新轮数); - 常见变种:图卷积网络(GCN)、图注意力网络(GAT)、消息传递神经网络(MPNN);
- 适用场景:节点分类(比如社交网络中预测用户兴趣)、链路预测(比如预测社交网络中的好友关系)、图分类(比如分子毒性预测)。
6.7 总结
RNN的核心价值是“处理时序数据和非线性结构数据”,通过记忆能力捕捉序列或结构中的依赖关系。
核心要点
- 简单RNN通过自反馈实现记忆,但存在长程依赖问题(梯度消失/爆炸);
- 门控网络(LSTM/GRU)通过门控机制和稳定记忆通道,解决长程依赖,是实际应用的首选;
- 深层RNN增强特征表达能力,双向RNN利用未来信息,适用于需要上下文的任务;
- 扩展到图结构:递归神经网络处理树结构,图神经网络处理任意图结构,覆盖更广泛的数据类型。
深入阅读推荐
- 想系统学RNN理论:《Recurrent Neural Networks and Deep Learning》;
- 想深入LSTM/GRU:《Understanding LSTM Networks》(Colah博客,通俗易懂);
- 想了解图神经网络:《Graph Neural Networks: A Review of Methods and Applications》;
- 想学习实践:PyTorch/TensorFlow的RNN/LSTM/GRU官方教程。
3608



被折叠的 条评论
为什么被折叠?



