深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）

最新推荐文章于 2025-03-27 13:05:17 发布
最新推荐文章于 2025-03-27 13:05:17 发布
阅读量1.6w 收藏 212
点赞数 30
分类专栏： 深度学习 NLP 文章标签： rnn 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ADwenwen/article/details/125349227
版权

目录

一、RNN简介

（一）、简介

（二）、RNN处理任务示例——以NER为例

二、模型提出

（一）、基本RNN结构

（二）、RNN展开结构

三、RNN的结构变化

（一）、N to N结构RNN模型

（二）、N to 1结构RNN模型

（三）、1 to N结构RNN模型

（四）、N to M结构RNN模型（encoder-decoder模型、seq2seq模型）

 四、梯度消失及梯度爆炸

（一）、什么是RNN的梯度爆炸和梯度消失        

（二）、如何解决RNN的梯度爆炸或梯度消失

一、RNN简介

（一）、简介

循环神经网络（Recurrent Neural Network, RNN），指的是一类以序列数据为输入的神经网络模型。与经典的前馈网络不同之处在于，RNN模型处理序列数据能够获取到更多的语义信息、时序信息等。通常，序列数据指的是一条数据内部的元素有顺序关系的数据，如文本、如文章、语句；时序数据，如一周的天气、三个月的股市指数等。通常可用于语音识别、语言模型、机器翻译及时序分析等。

（二）、RNN处理任务示例——以NER为例

NER（Named Entity Recognize，命名实体识别）任务，表示从自然语言文本中，识别出表示真实世界实体的实体名及其类别，如:

句子（1）: I like eating apple! 中的 apple 指的是 苹果（食物）

句子（2）: The Apple is a great company! 中的 Apple 指的是 苹果（公司）

一般的DNN网络中，输入方式为逐元素输入，即句子内的词单独独立地输入模型进行处理，这将导致上下文信息丢失，这样的结果会导致每个词的输入仅会输出单一结果，与上下文语义无关。如上图示例，若训练集中的苹果一词大部分标记为苹果（食物），则测试阶段所有的苹果也将标记为食物；反之则测试阶段将都标记为公司。

二、模型提出

（一）、基本RNN结构

        为了解决普通DNN无法有效获取上下文信息的缺点，RNN最基本的改良点在于增加一个“模块”用于存储上下文信息。以下图(a)为一个典型RNN的结构示意图：

        图(a)是一个典型的RNN结构图，初看可能会不太理解。理解首先不看右侧的矩阵\bf{W}，只看左侧的顺序网络，即图(b)，表示的就是一个普通的前馈神经网络。 接下来回头看图(a)，RNN相比于一般前馈网络，增加了一个保存上下文信息的权重矩阵\bf{W}，也即每次计算输出不仅要考虑当前输入数据，还要考虑序列数据的上下文信息。

（二）、RNN展开结构

        我们知道了RNN模型增加了一个权重矩阵\bf{W}用于存储输入序列的上下文信息，接下来我们来介绍RNN结构如何进行模型计算以及上下文信息如何应用到RNN结构。为了更好地理解RNN计算方式，下图是一个序列展开的RNN示意图（即上图a的时序展开图）：

        其中x_i表示i时刻的模型输入，y_i表示x_i对应的输入结果。RNN模型计算公式如下：

最低0.47元/天 解锁文章
PyTorch笔记 - Recurrent Neural Network(RNN) 循环神经网络
AGI
08-16 621
机器翻译：sequence to sequence，AED，Attention Based Encoder-Decoder。诗歌生成任务：one -> many。情感分类任务：many -> one。RNN - PyTorch函数。输入：input和h_0，
【深度学习基础模型】双向循环神经网络（Bidirectional Recurrent Neural Networks, BiRNN）详细理解并附实现代码。
985小水博的摸鱼日常
09-27 1577
（Bidirectional Recurrent Neural Networks, BiRNN）学习笔记！
深度学习之RNN(循环神经网络)
笨拙的石头的博客
05-28 25万+
一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?     细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数...
DL入门(3)：循环神经网络（RNN）
KI的博客
01-17 6万+
前馈神经网络可以看作一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入。在RNN中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。
循环神经网络（RNN）
最新发布
程子鱼
03-27 1352
循环神经网络（Recurrent Neural Network，简称 RNN）是一类用于处理序列数据的神经网络模型。与传统的前馈神经网络（如多层感知机）不同，RNN 具有反馈结构，能够在处理当前输入的同时保持之前的计算结果，从而更好地处理序列数据，如时间序列、语音、文本等。
RNN&LSTM 简介
Man
06-02 1万+
一、前馈神经网络的缺点 每次网络的输出只依赖当前的输入，没有考虑不同时刻输入的相互影响 输入和输出的维度都是固定的，没有考虑到序列结构数据长度的不固定性 二、循环神经网络（RNN） 1、RNN 介绍 循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时序数据样本的神经网络，它的每一层不仅输出给下一层，同时还输出一个隐状态，给当前层在处理下一...
循环神经网络（RNN）全面解析
hello.reader
11-13 4921
循环神经网络（Recurrent Neural Network, RNN）是一类用于处理序列数据的神经网络模型。RNN的关键特性在于其递归结构，可以在时间序列中记住之前的数据，从而适用于时间序列预测、自然语言处理（NLP）、语音识别等场景。RNN通过在序列中的每个时间步（Timestep）上共享参数，实现了序列数据的高效处理。RNN之所以适合处理序列数据，是因为它具有 “记忆” 功能，能够将前一步的输出作为输入传递给下一步。
循环神经网络(Recurrent Neural Network,RNN)
一般路过底层打工人的博客
10-28 1776
介绍了RNN的分类、详细原理，推导了BPTT算法的实现，给出了RNN的实现代码案例。
RNN（循环神经网络）
weixin_63685622的博客
05-16 1万+
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
神经网络——循环神经网络（RNN）
Krisit的博客
02-19 2万+
讲述了循环神经网络的原理以及在MATLAB中的实际运用
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
循环神经网络-RNN
顺其自然~专栏
04-14 3072
有时候，我们仅仅需要知道先前的信息来执行当前的任务。​​ 这一坨，要消除这种情况就需要把这一坨在求偏导的过程中去掉，至于怎么去掉，一种办法就是使 ∂ S j ∂ S j − 1 ≈ 1 {\frac{\partial{S_{j}}}{\partial{S_{j-1}}}}\approx1∂。答案是，还有很多依赖因素。因为RNN结构能够很好利用序列之间的关系，因此针对自然界具有连续性的输入序列，如人类的语言,，语音等进行很好的处理，广泛应用于NLP领域的各项任务，如文本分类，情感分析，意图识别，机器翻译等。
机器学习 -- Recurrent Neural Network (RNN)
01-30
Recurrent Neural Network (RNN) Example Application 1-of-N encoding Beyond 1-of-N encoding Recurrent Neural Network (RNN) Elman Network & Jordan Network Bidirectional RNN Long Short-term Memory (LSTM)
【深度学习基础模型】递归神经网络 (Recurrent Neural Networks, RNN) 详细理解并附实现代码。
985小水博的摸鱼日常
09-25 2686
递归神经网络 (Recurrent Neural Networks, RNN)学习笔记！
一文读懂RNN(Recurrent Neural Network)循环神经网络
y1120944224的博客
04-28 1157
最近学习NLP过程中学到了RNN，做了以下笔记。
【深度学习的骨架与脉搏】循环神经网络模型 · RNN（呕心沥血版）
十二月的猫
02-20 2371
在人工智能领域，尤其是处理时间序列数据和序列信息时，传统的神经网络往往无法有效捕捉到数据之间的时序关系。而循环神经网络（RNN）则应运而生，成为了解决这类问题的强大工具。RNN的独特之处在于，它能够通过“记忆”之前的输入信息，利用这种记忆来影响后续的决策，这使得它在语音识别、自然语言处理、股票预测等领域得到了广泛应用。
循环神经网络（Recurrent Neural Network，RNN）
m0_66890670的博客
10-09 882
详细介绍了RNN的核心理念、网络结构、工作流程、数学基础、信息流动与记忆机制、学习机制、工作机制、优势与局限、优化与改进、高级RNN结构、RNN与其他模型的对比、案例和python代码
循环神经网络
IT之一小佬的博客
03-26 4295
循环神经网络 1. 循环神经网络的介绍 为什么有了神经网络还需要有循环神经网络？ 在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。.
rnn循环神经网络结构图
12-27
### 关于RNN（循环神经网络）的结构图 循环神经网络（Recurrent Neural Network, RNN）的设计旨在处理序列数据，其核心特点是能够记忆之前的信息并应用于当前的任务中。这种特性使得RNN在网络内部形成了一种反馈连接机制，允许信息可以在时间维度上传播[^1]。 #### 基本结构描述 典型的RNN由多个相同的模块组成，这些模块按照时间步展开排列。每一个模块接收两个输入：一个是来自前一时刻的状态$h_{t-1}$；另一个则是当前时刻的输入$x_t$。经过计算后，该模块会产生一个新的状态$h_t$传递给下一个时间步，并可能输出一个预测值$y_t$。这样的设计让RNN可以有效地利用历史信息来影响未来的决策过程[^2]。 ```plaintext +-------------------+ | | xt ->| Module |---> yt | (f(xt, ht−1)) | ht−1 --> | |--> ht +-------------------+ ``` 此图为简化版的RNN单元示意，在实际应用中可能会更加复杂，比如加入门控机制等改进措施以解决长期依赖问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值