深度学习--递归神经网络--LSTM/GRU算法理论

最新推荐文章于 2025-04-30 14:03:16 发布
最新推荐文章于 2025-04-30 14:03:16 发布
阅读量2.4k 收藏 14
点赞数 1
文章标签： rnn lstm 神经网络 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_35733800/article/details/105650025
版权
本文详细介绍了递归神经网络（RNN）的基础，包括其与前馈神经网络的区别，不同架构类别，正向与反向传播，以及梯度消失和爆炸问题。特别地，深入探讨了LSTM（长短期记忆）和GRU（门控循环单元）的结构和工作原理，阐述了它们如何解决RNN的记忆问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一 递归神经网络基础

1 递归神经网络与前馈神经网络的联系与区别

1）网络结构

2）输入角度

3）输出角度

2 递归神经网络的架构类别

第一种架构类别：从输入和输出的序列长度角度

1）N：N（最为常见的架构）

2）N：M（Seq2Seq或者Encoder-Decoder模型）

3）1：N（处理如图片标注问题，x是图像特征，y是一个句子）

4）N：1（处理如序列分类问题（情感倾向分析））

第二种架构类别：从隐层的传输方向角度

1）单向递归神经网络（以N：N为例）

2）双向递归神经网络（以N：N为例）

3 递归神经网络的正向与反向传播（以N：N为例）

1）正向传播（同FP过程）

2）反向传播（同BP过程，这里称为BPTT）

4 递归神经网络的梯度消失与梯度爆炸问题

1）梯度消失问题（长时依赖造成记忆消失）

2）梯度爆炸问题（长时依赖造成记忆紊乱）

二 递归神经网络隐层结构

1 LSTM（Long Short Term Memory，长短时序记忆）

1）三个门（信息遗忘门、增加门、输出门）

2）正向传播

2  LSTM变种

1）peephole connections（窥视孔连接）

2）耦合信息遗忘门与增加门

3 GRU（Gated Recurretn Unit，门内循环单元）

1）两个门（信息更新门、输出门）

2）正向传播

一 递归神经网络基础

1 递归神经网络与前馈神经网络的联系与区别

1）网络结构

BP、CNN等是前馈神经网络，递归神经网络是反馈神经网络

2）输入角度

BP、CNN等前馈神经网络中输入是独立的没有上下联系的，递归神经网络中是有上下联系的序列化输入

3）输出角度

BP、CNN等前馈神经网络中输出是依赖当前输入，递归神经网络中输出依赖当前输入以及过去的输入，从而赋予神经网络记忆能力

注意：递归神经网络分为时间递归和结构递归，我们这里是指时间递归的递归神经网络

2 递归神经网络的架构类别

第一种架构类别：从输入和输出的序列长度角度

1）N：N（最为常见的架构）

第一点：节点的理解

  • x：表示整个输入序列（x=[x_{1},x_{2},...,x_{t},..]），其中x_{t}表示时间t的输入（向量）
  • h：表示隐层的输出序列（h=[h_{1},h_{2},...,h_{t},..]），其中h_{t}表示时间t的隐层输出（向量）

             注意：h_{t}=f(s_{t}) ,s_{t}=Ux_{t}+Wh_{t-1}+b_{h_t}

  • o：表示整个输出序列（o=[o_{1},o_{2},...,o_{t},...]）,其中o_{t}表示时间t的输出（向量）

            注意：o_{t}=g(Vh_{t})

第二点：连接权重的理解

  • U：表示输出层和隐层的连接权重（方阵），将输入层的输入进行抽象来作为隐层的输入
  • W：表示隐层和隐层的连接权重（方阵），是记忆的控制者（负责记忆调度）
  • V：表示隐层和输出层的连接权重（方阵），将隐层的输出进行抽象来作为输出层的输入

2）N：M（Seq2Seq或者Encoder-Decoder模型）

  • 第一步：将输入编码为词向量c
  • 第二步：将词向量c解码为预测序列

注意：实际问题中，输入和输出几乎不等长

3）1：N（处理如图片标注问题，x是图像特征，y是一个句子）

第一种：在序列开始进行输入x的计算

第二种：在序列的各个阶段，都进行同一个输入x的计算

4）N：1（处理如序列分类问题（情感倾向分析））

第二种架构类别：从隐层的传输方向角度

1）单向递归神经网络（以N：N为例）

2）双向递归神经网络（以N：N为例）

  • x：表示整个输入序列（x=[x_{1},x_{2},...,x_{t},..]），其中x_{t}表示时间t的输入（向量）
  • \overrightarrow{h}：表示隐层正向的输出序列（\vec{h}=[\overrightarrow{h}_{1},\overrightarrow{h}_{2},...,\overrightarrow{h}_{t},..]），其中h_{t}表示时间t的隐层输出（向量）

             注意：

最低0.47元/天 解锁文章
【深度学习基础模型】递归神经网络 (Recurrent Neural Networks, RNN) 详细理解并附实现代码。
985小水博的摸鱼日常
09-25 2714
递归神经网络 (Recurrent Neural Networks, RNN)学习笔记！
基于LSTM和GRU的深度学习模型实现及其应用
qq_38334677的博客
06-11 1151
递归神经网络是一种用于处理序列数据的神经网络，其特点是具有循环连接，能够记住序列中的历史信息。然而，传统的RNN在处理长序列时会出现梯度消失或梯度爆炸问题，从而导致模型难以训练。
算法基础——递归神经网络RNN
Evan_qin_yi_quan的博客
12-05 429
算法基础——递归神经网络RNN
GRU：时间序列预测的关键技术
最新发布
weixin_35916518的博客
04-30 813
在深度学习的浪潮中，循环神经网络（RNN）家族的新成员——门控循环单元（GRU）因其在处理序列数据方面的高效性和有效性逐渐受到关注。GRU特别适用于处理和预测时间序列数据，如语音识别、自然语言处理和金融市场分析等。
递归神经网络--代码实现
蓦然回首
12-20 1942
import numpy as np class IdentityActivator(object): def forward(self, weighted_input): return weighted_input def backward(self, output): return 1 class TreeNode(object): def
深度学习——结构递归神经网络(Recursive NN)
hei653779919的博客
02-06 3548
结构递归神经网络(Recursive NN)与自编码器 1、递归神经网络 目前，递归神经网络一共包含两种，一种是时间递归神经网络(Recurrent NN)，另外一种是结构性递归神经网络(Recursive NN)。 1.1 神经网络处理变长序列 对于常规的神经网络而言，其输入节点的长度往往都是固定的。例如下面的一个普通的前馈神经网络。 (图片来源：https://image.baidu.com/...
递归神经网络
devil_son1234的博客
05-09 989
递归神经网络是啥 因为神经网络的输入层单元个数是固定的，因此必须用循环或者递归的方式来处理长度可变的输入。循环神经网络实现了前者，通过将长度不定的输入分割为等长度的小块，然后再依次的输入到网络中，从而实现了神经网络对变长输入的处理。一个典型的例子是，当我们处理一句话的时候，我们可以把一句话看作是词组成的序列，然后，每次向循环神经网络输入一个词，如此循环直至整句话输入完毕，循环神经网络将产生对应的输出。如此，我们就能处理任意长度的句子了。入下图所示： 然而，有时候把句子看做是词的序列是不够的，比如下面
Python-TreeRNNs即递归神经网络的Theano实现
08-11
递归神经网络（Recursive Neural Networks，简称Tree RNNs）是一种深度学习模型，它能够处理树状结构的数据，如自然语言中的句法树。在传统的循环神经网络（RNNs）中，序列数据的处理是线性的，而Tree RNNs则可以...
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
2401_86518761的博客
07-30 801
无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。
LSTM 长短期记忆递归神经网络
哦豁灬
03-04 3423
人工神经网络（Aritificial Neural Networks, ANN）是一种仿生的网络结构，起源于对人类大脑的研究。人工神经网络（Aritificial Neural Networks）也常被简称为神经网络（Neural Networks, NN），基本思想是通过大量简单的神经元之间的相互连接来构造复杂的网络结构，信号（数据）可以在这些神经元之间传递，通过激活不同的神经元和对传递的信号进行加权来使得信号被放大或衰减，经过多次的传递来改变信号的强度和表现形式。
递归神经网络RNN——LSTM
sinat_42247418的博客
03-07 1972
LSTM的产生原因及优点、LSTM网络结构、LSTM工作机制
GRU（Gated Recurrent）神经网络介绍及公式推导
07-08
GRU（Gated Recurrent Unit）神经网络是LSTM 的一个变体，GRU 在保持了LSTM 的效果同时又使结构更加简单，是一种非常流行RNN 神经网络，它只有两个门了，分别为更新门t z 和重置门tr 。更新门控制前一时刻的状态信息被带入到当前状态中的程度，值越大前一时刻的状态信息带入越多。重置门控制忽略前一时刻的状态信息的程度，值越小说明忽略得越多。
递归神经网络RNN与LSTM
03-07
递归神经网络RNN与LSTM简介与算法推导。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
GRU神经网络 Python代码
04-20
基于Keras的GRU神经网络实现 Python编写 可以直接运行得到结果
GRU算法
lty1392309506的博客
01-01 1176
前置知识：RNN，LSTM。它将忘记门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。rt就是重置门，得到rt后，将rt与上一时刻传入的ht-1进行点乘，得到重置之后的数据，并与xt进行拼接。LSTM需要训练的参数很多，极消耗计算资源。GRU是一种LSTM的改进算法，参数更少，更容易训练。h'包含了输入信息xt，经过选择后的上一时刻的信息h't-1，(1-z)*h'：表示对包含当前节点信息的h'选择性的记忆。z*ht-1：表示对隐藏状态选择性的遗忘；
递归神经网络(超详细|附训练代码)
qq_73462282的博客
08-03 7059
另外两个词『Germany』和『France』因为表示的都是地点，它们的向量与上面两句话的向量的距离，就比另外两个表示时间的词『Monday』和『Tuesday』的向量的距离近得多。比如，在左边的这棵树中，向量p2是短语『外语学院的学生』的表示，而向量p1是短语『外语学院的』的表示。然后，我们把产生的父节点的向量和其他子节点的向量再次作为网络的输入，再次产生它们的父节点。的输入是两个子节点（也可以是多个），输出就是将这两个子节点编码后产生的父节点，父节点的维度和每个子节点是相同的。对于这种复杂的结构，
深度学习-42:深度递归神经网络(Recursive NN,RNN)
热门推荐
智能多媒体
10-14 1万+
深度学习-42:深度递归神经网络(Recursive NN,RNN) 深度学习原理与实践(开源图书)-总目录 递归神经网络(Recursive NN,RNN)通过带有树状相似的神经网络结构来递归复杂的深度网络。本质上，递归神经网络是对循环神经网络(Recurrent Neural Network)的一个有效扩展，他们具有不同的计算图。 递归神经网络(Recursive NN)和循环神经网络(R...
GRU循环神经网络
qq_31244453的博客
05-31 2631
GRU模型 GRU的网络结构 RNN：有两个输入，两个输出。 LSTM：有三个输入，三个输出。 GRU：有两个输入，两个输出。 GRU有两个门,一个重置门r和一个更新门，直观的，重置门决定了如何把新的输入与之前的记忆相结合，更新门决定多少先前的记忆起作用。如果我们把所有reset设置为全1，更新门设置为全0，又达到了普通RNN的形式； 2.GRU两个门 更新门 重置门 (1).更新门 将LSTM里面的遗忘门和输入门合并为更新门 (2).重置门 三、相关公式 1.模块内图 2. GR
深度学习--递归神经网络RNN和LSTM
DXdaxian的博客
05-20 534
RNN：递归神经网络 RNN在自然语言处理方面较好。 通常情况下只需要最后一个结果。 递归神经网络的反向传播： 只要有路线，就需要把梯度传导下去。 存在缺点： 1、当输入较大时，网络结构比较大，反向梯度传播计算会很慢。 2、当梯度计算为0时，参数就无法传递了，也就是会出现梯度消失。 3、较前的输入可能信息价值不高，可能对训练造成影响，需要预处理 LSTM 长短记忆网络 LSTM会去遗忘一些数据 例如：C会使值为0的信息剔除，0.5的保留部分，0.8的保留大部分，1 的保留全部 门单元 利用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值