一文看懂RNN

最新推荐文章于 2025-06-23 09:00:32 发布
最新推荐文章于 2025-06-23 09:00:32 发布
阅读量944 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 机器视觉 nlp 文章标签： 人工智能 神经网络 rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ithinking110/article/details/104941702

RNN 基本原理

为什么需要RNN?

既然我们已经有了人工神经网络和卷积神经网络，为什么还要循环神经网络？

这是一般的神经网络应该有的结构：

在这里插入图片描述
无论是卷积神经网络，还是人工神经网络，他们的前提假设都是：元素之间是相互独立的，输入与输出也是独立的，比如：给一个图片 识别出来是一个 猫 第二张图片识别一个 兔子 第一个图片 和第二个图片没有必然关系 是独立的。

我们说话是要根据上下文的信息推理一些东西：

一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去__________.这里填空，人应该都知道是填“云南“。因为我们是根据上下文的内容推断出来的，但机器要做到这一步就相当得难了。因此，就有了现在的循环神经网络，他的本质是：像人一样拥有记忆的能力。因此，他的输出就依赖于当前的输入和记忆。

记忆在机器里面存储

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

经典RNN

在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图：
在这里插入图片描述

在实际应用中，我们还会遇到很多序列形的数据：
在这里插入图片描述

如：

自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。
语音处理。此时，x1、x2、x3……是每帧的声音信号。
时间序列问题。例如每天的股票价格等等

序列形的数据就不太好用原始的神经网络处理了。为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。先从h1的计算开始看：

在这里插入图片描述

图示中记号的含义是：

圆圈或方块表示的是向量。
一个箭头就表示对该向量做一次变换。如上图中h0和x1分别有一个箭头连接，就表示对h0和x1各做了一次变换。
在很多论文中也会出现类似的记号，初学的时候很容易搞乱，但只要把握住以上两点，就可以比较轻松地理解图示背后的含义。

h2的计算和h1类似。要注意的是，在计算时，每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点，一定要牢记。

在这里插入图片描述
依次计算剩下来的（使用相同的参数U、W、b）
我们这里为了方便起见，只画出序列长度为4的情况，实际上，这个计算过程可以无限地持续下去。

我们目前的RNN还没有输出，得到输出值的方法就是直接通过h进行计算

在这里插入图片描述
正如之前所说，一个箭头就表示对对应的向量做一次类似于f(Wx+b)的变换，这里的这个箭头就表示对h1进行一次变换，得到输出y1。

剩下的输出类似进行（使用和y1同样的参数V和c）：

变形如下：
在这里插入图片描述

在这里插入图片描述

RNN 各种结构

N VS 1

有的时候，我们要处理的问题输入是一个序列，输出是一个单独的值而不是序列，应该怎样建模呢？实际上，我们只在最后一个h上进行输出变换就可以了：

在这里插入图片描述

这种结构通常用来处理序列分类问题。如输入一段文字判别它所属的类别，输入一个句子判断其情感倾向，输入一段视频并判断它的类别等等。

1 VS N

输入不是序列而输出为序列的情况怎么处理？我们可以只在序列开始进行输入计算：
在这里插入图片描述

还有一种结构是把输入信息X作为每个阶段的输入

在这里插入图片描述
这种1 VS N的结构可以处理的问题有：

  1. 从图像生成文字（image caption），此时输入的X就是图像的特征，而输出的y序列就是一段句子
  2. 从类别生成语音或音乐等

N VS M

下面我们来介绍RNN最重要的一个变种：N vs M。这种结构又叫Encoder-Decoder模型，也可以称之为Seq2Seq模型。

原始的N vs N RNN要求序列等长，然而我们遇到的大部分问题序列都是不等长的，如机器翻译中，源语言和目标语言的句子往往并没有相同的长度。

为此，Encoder-Decoder结构先将输入数据编码成一个上下文向量c：

在这里插入图片描述

得到c有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给c，还可以对最后的隐状态做一个变换得到c，也可以对所有的隐状态做变换

拿到c之后，就用另一个RNN网络对其进行解码，这部分RNN网络被称为Decoder。具体做法就是将c当做之前的初始状态h0输入到Decoder中：

在这里插入图片描述

还有一种做法是将c当做每一步的输入：

在这里插入图片描述

由于这种Encoder-Decoder结构不限制输入和输出的序列长度，因此应用的范围非常广泛，比如：

机器翻译。Encoder-Decoder的最经典应用，事实上这一结构就是在机器翻译领域最先提出的
文本摘要。输入是一段文本序列，输出是这段文本序列的摘要序列。
阅读理解。将输入的文章和问题分别编码，再对其进行解码得到问题的答案。
语音识别。输入是语音信号序列，输出是文字序列。

Attention机制

在Encoder-Decoder结构中，Encoder把所有的输入序列都编码成一个统一的语义特征c再解码，因此， c中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。如机器翻译问题，当要翻译的句子较长时，一个c可能存不下那么多信息，就会造成翻译精度的下降。

Attention机制通过在每个时间输入不同的c来解决这个问题，下图是带有Attention机制的Decoder

整体图：
在这里插入图片描述

将 Decoder 部分单拿出来:
在这里插入图片描述
在这里插入图片描述

以机器翻译为例（将中文翻译成英文）：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

a3j 的计算：

在这里插入图片描述

参考文献：

https://blog.youkuaiyun.com/xierhacker/article/details/73384760
https://zhuanlan.zhihu.com/p/28054589
https://zhuanlan.zhihu.com/p/43493999

什么是RNN？一文看懂强大的循环神经网络(Recurrent Neural Network, RNN)
Marcus-Bao的个人主页
05-06 1165
循环神经网络(Recurrent Neural Network，RNN)是一类用于处理序列数据的神经网络。所谓序列数据，即前面的输入和后面的输入是有关系的，如一个句子，或者视频帧。就像卷积网络是专门用于处理网格化数据XXX（如一个图像）的神经网络，循环神经网络是专门用于处理序列x(1),…,xmx^{(1)},\dots,x^{m}x(1),…,xm的神经网络。正如卷积网络可以很容易地扩展到具有很...
神经网络算法：一文搞懂RNN（循环神经网络）
2401_84033492的博客
03-31 4008
本文将从RNN解决了什么问题、RNN的基本原理、RNN的优化算法、RNN的应用场景四个方面，带您一文搞懂循环神经网络RNN。
【深度学习解惑】RNN训练中如何设置初始状态？有哪些常见方式？
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
06-23 634
RNN训练中如何设置初始状态？有哪些常见方式？
一文彻底搞懂RNN - 模型架构（Model Architecture）
2401_85327249的博客
09-15 1843
RNN是一种特殊的神经网络结构，它通过在时间上的展开来处理序列数据中的依赖关系。在每个时间步（time step），RNN都会接收一个输入（比如句子中的一个单词），并输出一个结果（比如下一个单词的预测）。与传统的前馈神经网络（Feedforward Neural Network, FNN）不同，RNN在每个时间步都会保留一个隐藏状态（hidden state），这个隐藏状态包含了之前所有时间步的信息，并用于计算当前时间步的输出和下一个时间步的隐藏状态。
[deeplearning-015]一文理解rnn
大数据和机器学习研究
08-24 434
1.参考文档 https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/   前提，熟悉bp算法推导，熟悉bptt算法推导 2.py源码 #!/usr/bin/env python3 #参考文献 https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/ import...
一文看懂从 RNN 到 LSTM
大数据技术派
07-24 714
来自 |知乎 作者 |陈诚链接 | https://zhuanlan.zhihu.com/p/32085405这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的...
一文读懂RNN(Recurrent Neural Network)循环神经网络
y1120944224的博客
04-28 1234
最近学习NLP过程中学到了RNN，做了以下笔记。
神经网络算法 - 一文搞懂RNN（循环神经网络）
weixin_53880910的博客
08-05 3226
本文将从RNN解决了什么问题、RNN的基本原理、RNN的优化算法、RNN的应用场景四个方面，带您一文搞懂循环神经网络RNN。
一文看懂25个神经网络模型.pdf
05-13
这篇文档《一文看懂25个神经网络模型》旨在帮助读者理清当前流行的多种神经网络架构。本文将深入探讨几个关键的神经网络组件，包括神经元、卷积神经元、解卷积神经元、池化神经元和插值神经元，以及均值神经元和标准...
rnn
eilot_c的博客
11-17 302
RNN及RNN的几个变体序列形的数据不太好用原始的神经网络处理，为了建模序列问题，RNN引入了隐状态h（hidden）的概念，h可以对序列形的数据提取特征，接着转换为输出。 圆圈或方块表示的是向量 一个箭头就表示对该向量做一次变换。如上图中h0和x1分别有一个箭头连接，就表示对h0和x1各做了一次变换 Tips：U、W、b都...
循环神经网络（Recurrent Neural Network, RNN）中的隐状态（hidden state）
CSPhD-winston的博客
06-24 2238
隐状态是RNN中每个时间步所计算出的内部状态，起到了记忆和传递信息的作用。在编码器-解码器架构中，编码器的隐状态包含了输入序列的全部信息，解码器使用这个隐状态来生成输出序列。隐状态的更新是通过处理当前输入和前一时间步的隐状态来实现的。通过上述解释，希望能帮助你理解隐状态的概念及其在序列到序列学习中的作用。如果有更多疑问，请继续提问！
RNN
smartcat2010的博客
03-13 344
基本RNN: h[t-1]记录上一时刻中间输出，tahn(U*h[t-1]+W*x[t])-->h[t] LSTM: C是记忆，h是输出，x是输入； h和x并联，乘以3个W再sigmoid到0~1, 控制3个门； 门就是在输入信号向量点乘控制向量； C[t-1]经过第一个门，通过一部分（剩下的等于是被遗忘掉了）； W*[h[t-1], x[t]]经过第二个门，新增一部分记忆...
Pytorch学习笔记(6)——RNN隐藏状态不能参与梯度计算
LiQZ的博客
02-11 1592
报错内容： CPU上运行报错：RuntimeError: Trying to backward through the graph a second time (or directly access saved variables after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify
TensorFlow 18——ch13-N VS 1 RNN做两类序列分类器
卷子的博客
09-14 625
代码：https://github.com/MONI-JUAN/Tensorflow_Study/tree/master/TensorFlow 18——ch13-N VS 1 RNN做两类序列分类器 目录理论数据生成测试 ToySequenceData定义各种参数定义 RNN 分类模型定义损失和准确率训练所有代码 理论 TensorFlow 15——ch12-RNN、LSTM基本结构 数据生成 # 这个类用于产生序列样本 class ToySequenceData(object): """ 生成序列
tensorflow lstm从隐状态到预测值_Tensorflow之循环神经网络(RNN)
weixin_39959505的博客
11-25 562
<废话框>这次要说的是循环神经网络(Recurrent Neural Networks，RNN)。传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。但是普通的神经网络对于很多问题却无...
RNN学习
Lcx559的博客
11-15 350
RNN是一类具有短期记忆能力的神经网络。在该神经网络中，神经元不仅可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。
RNN原理介绍
weixin_45599022的博客
09-28 1462
RNN介绍： RNN与HMM的区别： 主要是隐状态，HMM相当于是onehot编码，每个观测状态是由某一个隐状态决定的，其他都为0.属于局部最优解，稀疏。 而RNN的隐状态相当于词向量表示（分布式表示），每个观测状态是由好多隐状态作用生成的，密集。 递归神经网络适合语言模型，因为后边的输出会受前边输入的影响，所以一个句子后边的词的生成是联合概率。但存在的问题是 梯度消失，随着句子加长，生成后边的词时，越远的词的作用会越来越小，所以有了LSTM。 每一个时间点的输出都是一个长度为V（词典.
了解RNN循环神经网络
prague6695的博客
06-09 810
系列文章目录 文章目录系列文章目录1. RNN与全连接网络的区别2. 但输入cfscvzcvzd'f's 1. RNN与全连接网络的区别 RNN比全连接神经网络多了参数h0，因此RNN的神经元公式会比全连接神经网络的神经元多一项（f为激励函数） 训练过程与全连接神经网络并无区别：梯度下降原则 输入是可以多个且有序的，它可以模拟人类阅读的顺序去读取文本或者别的序列化数据，且通过隐藏层神经元的编码，上一个隐藏层神经元的信息可以传递到下一个隐藏层神经元，因而形成一定的记忆能力，能够更好地理解序列化数据。 2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值