循环神经网络（RNN）

最新推荐文章于 2025-07-24 16:33:48 发布
原创 最新推荐文章于 2025-07-24 16:33:48 发布 · 4.7k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RNN #循环神经网络 #深度学习 #BPTT #梯度消失

本文详细介绍了循环神经网络（RNN）的基础结构，包括基本的RNN、双向RNN和深度RNN。重点讨论了RNN的时间步长、参数共享以及训练算法BPTT。此外，还探讨了RNN面临的梯度消失和梯度爆炸问题，以及解决长距离依赖的挑战。最后，文中列举了RNN的各种架构，如1 to N、N to 1、N to N和N to M，展示了RNN在序列数据处理中的广泛应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

微信公众号

 本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/IPyI2Ee6Kzyv3wFAUN7NOQ

本文同步更新在我的知乎专栏里，地址：https://zhuanlan.zhihu.com/p/43190710

目录

1. 基本循环神经网络

2. 双向循环神经网络

2.1 双向循环神经网络的介绍

2.2 双向循环神经网络的训练

3. 深度循环神经网络

4. 循环神经网络的时间步长和参数共享

4.1 循环神经网络的time steps

4.2 循环神经网络的参数共享

5. 循环神经网络的训练算法（BPTT）

6. RNN的梯度消失和梯度爆炸

6.1 梯度消失

6.2 梯度爆炸

7. RNN的Long-Term依赖问题

8. RNN的几种架构

8.1 1 to 1

8.2 1 to N

8.3 N to 1

 8.4 N to N

8.5 N to M

Reference

1. 基本循环神经网络

传统的神经网络模型是从输入层到隐含层再到输出层的全连接，且同层的节点之间是无连接，网络的传播也是顺序的，但这种普通的网络结构对于许多问题却显得无能为力。例如，在自然语言处理中，如果要预测下一个单词，就需要知道前面的部分单词，因为一个句子中的单词之间是相互联系的，即有语义。这就需要一种新的神经网络，即循环神经网络RNN，循环神经网络对于序列化的数据有很强的模型拟合能力。具体的结构为：循环神经网络在隐含层会对之前的信息进行存储记忆，然后输入到当前计算的隐含层单元中，也就是隐含层的内部节点不再是相互独立的，而是互相有消息传递。隐含层的输入不仅可以由两部分组成，输入层的输出和隐含层上一时刻的输出，即隐含层内的节点自连；隐含层的输入还可以由三部分组成，输入层的输出、隐含层上一时刻的输出、上一隐含层的状态，即隐含层内的节点不仅自连还互连。结构如图1所示。

图1：循环神经网络结构图

在图1中，可以看到隐含层节点间有消息的相互传递。为了更简单的理解，现在我们将RNN在时间坐标轴上展开成一个全神经网络，如图2所示。例如，对一个包含3个单词的语句，那么展开的网络便是一个有3层的神经网络，每一层代表一个单词。

 

图2：循环神经网络展开图标题

 

对于图2的网络，计算过程如下：

  • x_t表示第t步(step)的输入。比如x_1为第二个词的词向量(x_0为第一个词)；

  • s_t为隐藏层的第t步的状态，它是网络的记忆单元。s_t根据当前输入层的输出与上一时刻隐藏层的状态s_{t-1}进行计算，如公式1所示。其中，U是输入层的连接矩阵，W是上一时刻隐含层到下一时刻隐含层的权重矩阵，f(x)一般是非线性的激活函数，如tanh或ReLU。

s_t=f(Ux_{t}+Ws_{t-1})  (1)

  • o_t是第t步的输出。输出层是全连接层，即它的每个节点和隐含层的每个节点都互相连接，V是输出层的连接矩阵，g(x)是激活函数。

o_t=g(V*s_t)   (2)

如果将(1)式循环带入(2)式可得：

由式(3)可以看出，循环神经网络的输出值与前面多个时刻的历史输入值有关，这就是为何循环神经网络能够往前看任意多个输入值的原因，也就是为何循环神经网络能够对序列数据建模的原因。

在图2中，我们展示了一个单向循环神经网络，但是单向循环神经网络也有不足之处。从单向的结构中可以知道它的下一时刻预测输出是根据前面多个时刻的输入共同影响的，而有些时候预测可能需要由前面若干输入和后面若干输出共同决定，这样才会更加准确。

2. 双向循环神经网络

2.1 双向循环神经网络的介绍

对于语言模型来说，很多时候单向循环神经网络表现是不好的，比如下面这句话：

我的手机坏了，我打算____一部新手机。

可以想象，如果我们只看横线前面的词，手机坏了，那么我是打算修一修？换一部新的？还是大哭一场？这些都是无法确定的。但如果我们也看到了横线后面的词是『一部新手机』，那么，横线上的词填『买』的概率就大得多了。

对于上面的语言模型，单向循环神经网络是无法对此进行建模的。因此，我们需要用双向循环神经网络，如图3所示。

标图3：双向循环神经网络题

 从图3中可以看出，双向循环神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A^{'}参与反向计算。我们以y_{2}的计算为例，推出循环神经网络的一般规律。最终的输出值y_{2}取决于A_{2}和 A_{2}^{'} 。其计算方式为公式4：

y_{2} = g(VA_{2}+V^{'}A_{2}^{'})    (4)

A_{2} 和 A_{2}^{'}则分别计算为：

A_{2} = f(WA_{1}+Ux_{2})   (5)

A_{2}^{'} = f(W^{'}A^{'}_{3}+U^{'}x_{2})  (6)

现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值s_{t}s_{t}与s_{t-1} 有关；反向计算时，隐藏层的值s^{'}_{t}s_{t}^{'}与

最低0.47元/天 解锁文章

200万优质内容无限畅学
RNN(循环神经网络)
m0_63167598的博客
03-20 7539
1.全连接神经网络的局限性 全连接神经网络虽然可以对一个事物进行预测，但是前一条数据的输入和后一条数据的输入是完全独立的，这就使得面对一些具有序列信息的数据无法处理。 比如，我们说一句话，每个字在这句话中都扮演着不同的角色，你不可能单个拉出来理解。 2.RNN的主要形式： 在这个图中：x代表当前状态下的输入，y代表当前状态下的输出。 h 代表接收到的上一个节点的输入，h'代表下一个节点的输入 我们可以看到y的值取绝与h'，x。 这是一个单元，我们把它序列化就可以获得如下形式：
循环神经网络
IT之一小佬的博客
03-26 4313
循环神经网络 1. 循环神经网络的介绍 为什么有了神经网络还需要有循环神经网络？ 在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。.
循环神经网络(RNN)详解：从原理到实践
最新发布
wyy202206174248的博客
07-24 1136
循环神经网络(Recurrent Neural Network, RNN)是一类专门用于处理序列数据的神经网络。与传统的前馈神经网络不同，RNN引入了"记忆"的概念，能够利用之前处理过的信息来影响后续的输出。RNN的核心思想是：在处理当前输入时，不仅考虑当前的输入数据，还会考虑之前所有输入数据的"记忆"。这种特性使得RNN非常适合处理时间序列数据、自然语言、语音等具有时序关系的数据。
RNN 循环神经网络
qq_37499519的博客
11-30 512
生活中存在许多与时序有关的数据，需要一个模型能够很好表示这种关系，循环神经网络就诞生了 。 数据例如 1).一个句子，词与词之间的先后顺序不同，表达的含义也不同 2).语音信号：传感器采集的声波信号与时间有关 3).视频：每一帧图像的排列顺序 4),股票k线图，气象数据图，辐照数据等 普通RNN的结构： 每一个单元的输入包含两部分（一是上一时刻的状态，二是当前时刻的输入） 输出也是两部分（当前时...
RNN（循环神经网络）
热门推荐
weixin_63685622的博客
05-16 1万+
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
Matlab实现循环神经网络RNN
12-02
循环神经网络（Recurrent Neural Network，RNN）是深度学习领域中一种特殊的神经网络结构，尤其适用于处理序列数据，如自然语言、时间序列预测等。在Matlab中实现RNN，可以帮助我们理解其工作原理，并在实际问题中...
循环神经网络RNN的ppt
06-08
循环神经网络RNN的ppt
基于循环神经网络RNN的歌词生成
04-15
循环神经网络（Recurrent Neural Network, RNN）是一种在序列数据处理方面表现出色的人工神经网络模型，尤其在自然语言处理（NLP）领域中应用广泛。歌词生成是RNN的一个典型应用场景，它能根据已有的歌词数据学习到...
循环神经网络RNN.pptx
03-06
循环神经网络（RNN）是一种用于处理序列数据的深度学习模型。序列数据的特点在于数据点之间存在前后依赖关系，这类数据包括时间序列、文本、音频和视频等。与传统的前馈神经网络（FNN）相比，FNN在处理相互独立数据...
BJTU实验4-循环神经网络实验（手动实现循环神经网络RNN）
08-27
手动实现循环神经网络RNN，并在至少一种数据集上进行实验，从训练时间、预测精度、Loss变化等角度分析实验结果 使用torch.nn.rnn实现循环神经网络，并在至少一种数据集上进行实验，从训练时间、预测精度、Loss变化等...
RNN循环神经网络
07-14
李宏毅教授关于RNN循环神经网络的有关知识讲解，可以帮助学习者更好的理解什么是RNN。
循环神经网络RNN
06-07
### 循环神经网络（RNN）原理与应用 循环神经网络（Recurrent Neural Network, RNN）是一种专门用于处理序列数据的神经网络模型。它通过在网络中引入循环结构，使得网络能够记忆先前的信息，并将其用于当前时刻的计算。这种特性使得RNN在自然语言处理、时间序列预测和语音识别等领域表现优异[^1]。 #### 1. RNN的基本原理 RNN的核心思想是将序列中的每个元素依次输入到网络中，同时保留前一时刻的状态信息。具体来说，RNN在每个时间步 $t$ 接收一个输入 $x_t$ 和上一时刻的状态 $h_{t-1}$，并通过以下公式更新状态： $$ h_t = \phi(W_{hx} x_t + W_{hh} h_{t-1} + b) $$ 其中： - $h_t$ 是当前时刻的隐藏状态； - $W_{hx}$ 和 $W_{hh}$ 是权重矩阵； - $b$ 是偏置向量； - $\phi$ 是激活函数，通常为 tanh 或 ReLU[^1]。 #### 2. RNN的结构变种 尽管标准RNN具有强大的建模能力，但在处理长序列时容易遇到梯度消失或梯度爆炸的问题。为此，研究者提出了多种改进版的RNN结构，例如长短期记忆网络（LSTM）和门控循环单元（GRU）。这些变种通过引入门控机制，增强了网络对长期依赖关系的学习能力[^2]。 - **LSTM**：通过遗忘门、输入门和输出门控制信息的流动，有效缓解了梯度消失问题。 - **GRU**：简化了LSTM的结构，合并了遗忘门和输入门，减少了参数数量。 #### 3. RNN的应用场景 RNN及其变种广泛应用于以下领域： - **自然语言处理**：包括机器翻译、文本生成和情感分析等任务。例如，使用LSTM可以生成高质量的文本[^1]。 - **时间序列预测**：如股票价格预测、天气预报等。RNN能够捕捉时间序列中的动态模式。 - **语音识别**：通过建模音频信号的时序特性，RNN实现了高精度的语音转文字功能[^2]。 #### 4. RNN的挑战 尽管RNN在许多任务中表现出色，但它也面临一些挑战： - **梯度消失/爆炸**：在训练过程中，误差信号可能随着时间步的增加而迅速衰减或放大。 - **计算复杂度**：由于需要按时间步展开，RNN的训练过程可能较为耗时。 - **并行化困难**：RNN的递归特性限制了其在硬件上的高效并行化[^1]。 ```python import torch import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.hidden_size = hidden_size self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(1, x.size(0), self.hidden_size).to(x.device) out, _ = self.rnn(x, h0) out = self.fc(out[:, -1, :]) return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值