LSTM变种模型

最新推荐文章于 2025-03-25 15:42:08 发布
最新推荐文章于 2025-03-25 15:42:08 发布
阅读量841 收藏 20
点赞数 22
分类专栏： 人工智能 文章标签： lstm 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73723097/article/details/145569480
版权

GRU

GRU简介

门控循环神经网络 (Gated Recurrent Neural Network，GRNN) 的提出，旨在更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可学习的门来控制信息的流动。其中，门控循环单元 (Gated Recurrent Unit ， GRU) 是一种常用的 GRNN 。 GRU 对 LSTM 做了很多简化，同时却保持着和 LSTM 相同的效果。

GRU的原理

GRU 的两个重大改进

  • 将三个门：输入门、遗忘门、输出门变为两个门：更新门 (Update Gate) 和 重置门 (Reset Gate)。
  • 将 (候选) 单元状态 与 隐藏状态 (输出) 合并，即只有 当前时刻候选隐藏状态 和 当前时刻隐藏状态 。

模型结构

简化图

内部结构图

  •  x_{t}:当前时刻输入信息
  • h_{t-1}：上一时刻的隐藏状态。隐藏状态充当了神经网络记忆，它包含了之前节点所见过的数据的信息
  • h_{t}：传递下一时刻的隐藏状态
  • \tilde{h}_{t}:候选隐藏状态
  • r_{t}：重置门
  • z_{t}：更新门
  • \sigma：sigmoid函数，通过这个函数可以将数据变为0-1范围内的数值
  • tanh：tanh函数，通过这个函数可以将数据变为[-1,1]范围内的数值
  • W_{z}、W_{r}和w是W是模型参数（权重矩阵），需要通过训练数据来学习
  • GRU通过其他门控制机制能够有效的捕捉到序列数据中的时间动态，同时相较于LSTM来说，由于起结构更加简洁，通常参数更少，计算效率更高
重置门

重置门决定在计算当前候选隐藏状态时，忽略多少过去的信息

更新门

更新门决定了多少过去的信息将被保留，它使用前一时间步的隐藏状态(h_{t-1})和当前输入(x_{t})来计算得出

最低0.47元/天 解锁文章
(转) 干货 | 图解LSTM神经网络架构及其11种变体（附论文）
a1424262219的博客
03-26 4904
干货 | 图解LSTM神经网络架构及其11种变体（附论文） 2016-10-02机器之心 选自FastML 作者：Zygmunt Z. 机器之心编译 参与：老红、李亚洲 就像雨季后非洲大草原许多野生溪流分化成的湖泊和水洼，深度学习已经分化成了各种不同的专门架构。 并且，每个架构都会有一个图解，这里将详细介绍它们。 神经网络在概念上很...
理解LSTM网络
Deep Learning and NLP Farm
11-16 3612
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
收藏！拆解CNN、RNN、Transformer、扩散模型、GAN与深度强化学习的变体与未来演进方向
最新发布
AI生成曾小健3
03-25 744
每个时间步，RNN接收输入并结合前一时刻隐藏状态计算当前输出与新隐藏状态，公式为，其中为时刻隐藏状态，为输入，、为权重矩阵，为偏置，为激活函数。卷积神经网络（CNN）、循环神经网络（RNN）及其变体（LSTM、GRU）、Transformer（BERT、GPT、Vision Transformer）、扩散模型、生成对抗网络（GAN）以及深度强化学习模型作为深度学习的核心模型家族，各自在不同的应用领域展现出了强大的能力。例如，在处理短文本数据时，GRU的训练速度更快，且能够有效地捕捉短文本中的语义信息。
LSTM模型变种
weixin_67684635的博客
10-08 1089
BiLSTM（Bidirectional Long Short-Term Memory）是LSTM的一种扩展，它通过同时考虑序列的前向和后向信息来增强模型对序列数据的理解。传统的LSTM只能从过去到未来单方向处理序列，而BiLSTM则能够同时捕捉到序列中每个时间点上的前后文信息，从而提高模型在许多任务中的表现。
LSTM及其变种
小泥鳅
11-28 625
Python中利用LSTM模型进行时间序列预测分析的实现
09-18
长短期记忆网络（LSTM）作为一种递归神经网络（RNN）的变种，特别适合处理这类数据，因为它能够捕捉序列中的长期依赖关系。 时间序列预测是基于历史数据对未来事件的特征进行预测。在时间序列模型中，每个观测值...
lstm 有哪些变种模型
06-12
在 LSTM 模型的基础上，研究者们提出了多种变种模型，以适应不同的数据和场景。以下是一些常见的 LSTM 变种模型： 1. GRU（Gated Recurrent Unit）：与 LSTM 相似，但只有两个门（重置门和更新门）而非三个门。 2....
深度剖析与实践指南： CNN-LSTM 混合模型在全球变暖预测领域的全方位应用
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
12-18 1327
本文深度剖析 CNN - LSTM 混合模型在全球变暖预测中的应用。全球变暖威胁严峻，该模型融合 CNN 空间特征提取与 LSTM 时间序列分析能力意义重大。文中详细阐述其概念，CNN 可提取气候数据空间特征，LSTM 能捕捉时间动态，二者结合优势互补。原理部分涵盖数据预处理、模型架构、训练优化等要点。实操案例给出环境准备、数据集处理、代码实现及详细解析，包括数据清洗、归一化、特征工程等步骤。还探讨模型优化、多源数据融合与长期预测等扩展方向，为全球变暖预测提供全面且具深度的技术指南。
LSTM变种比较
weixin_37136725的博客
04-15 1万+
LSTM简介 LSTM(Long Short Term Memory)是在标准RNN基础上改进而来的一种网络结构，其出现的主要作用是为了解决标准RNN训练过程中的梯度消失问题，LSTM的结构如下图所示。因此其可以处理时间间隔和延迟较长的序列问题，近年来在语音识别，机器翻译，OCR等领域得到了广泛的应用并取得了比较可观的效果。 相比于标准RNN模型，LSTM主要是增加了三个控制门单元：遗忘门
【LSTM介绍】LSTM变种、常用架构以及相关文献梳理
qq_42554780的博客
04-21 2万+
现在网上关于LSTM原理介绍的文章非常多，但却很少有文章对LSTM的整个脉络进行系统的梳理。笔者阅读了大量的文章，尽力对LSTM的变种以及常用的架构进行了系统的梳理，包括每种方法的主要改进点、引用领域、文献出处等，供各位参考学习。后续如有其他的补充内容还会继续优化。
TensorFlow学习记录：LSTM及其变种
weixin_41137655的博客
07-09 1007
LSTM结构由Sepp Hochreiter教授和Jurgen Schmidhuber 教授于1997年提出，它本身就是一种特殊的循环结构。在一个整体的循环神经网络中，除了外部的RNN大循环（循环体是LSTM）外，还需要考虑LSTM本身单元“细胞”之间的自循环。这个自环与简单的带有tanh结构的循环体在RNN中的循环不同，单元“细胞”间的循环关系也展示了出来。下图所示为LSTM单元“细胞”结构示意...
深入理解LSTM神经网络
热门推荐
Working. Playing.
05-06 4万+
LSTM核心思想及详细解读
LSTM及其变种及其克服梯度消失
weixin_30839881的博客
06-29 414
本宝宝又转了一篇博文，但是真的很好懂啊： 写在前面：知乎上关于lstm能够解决梯度消失的问题的原因： 上面说到，LSTM 是为了解决 RNN 的 Gradient Vanish 的问题所提出的。关于 RNN 为什么会出现 Gradient Vanish，上面已经介绍的比较清楚了，本质原因就是因为矩阵高次幂导致的。下面简要解释一下为什么 LSTM 能有效避免 Gradient ...
RNN的优秀变种: LSTM & GRU
八门金锁的技术博客
11-17 530
长短期记忆 大名鼎鼎的Long short term memory (LSTM)。LSTM的提出，正是为了解决RNN的痛点，加强了捕捉时间序列中时间步距离较大的依赖关系的能力。 需要注意的是LSTM并没有保证梯度爆炸或者梯度消失的问题不会出现，它仅仅是为模型学习长依赖提供了一种更简便的方法(记忆细胞)。 我们再次熟悉一下对于各个变量的标记。假设激活函数为ϕ\phiϕ，该层的隐藏单元个数是hhh，样本数为nnn，特征维度是ddd (在此处就是字典大小)。所以数据可以表示成X∈Rn∗dX \in R^{n*d}
学习笔记(02):自然语言处理实战 深度学习之LSTM情感分析-LSTM执行原理以及LSTM变种网络...
哦呜的博客
04-12 428
课程目标 学习完本门课程，您将对自然语言处理技术有更深入的了解， 掌握基于深度学习情感分析方法;课程基于PyTorch主流框架实现，其中涉及深度学习主流框架LSTM模型以及自然语言处理的词向量；彻底掌握中文情感分析。 适用人群 想要从事NLP的在校学生、NLP研发工程师 自然语言处理从业者、深度学习爱好者 课程简介 NLP领域的热门应用，常用在舆...
循环神经网络系列RNN、LSTM及变种
Toocy7的博客
06-22 2631
摘要 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。 人脑记忆原理： 对信息的预测和记忆功能 语言模型对当前输入信息的先后顺序 人脑的存储方式 人脑的记忆算法功能 序列 自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。 语音处理。此时，每个元素是每帧的声音
RNN与LSTM系列（三）——RNN和变种LSTM的前向和反向传播
manmanxiaowugun的博客
06-25 692
转载自：http://blog.youkuaiyun.com/u011414416/article/details/46709965   以下内容主要引自Alex Graves写的Supervised Sequence Labelling with Recurrent Neural Networks 一书。  （http://www.springer.com/cn/book/9783642247965） ...
基于LSTM及其变种网络的时序数据建模实战教程
Python中文社区
02-08 1261
♚作者：沂水寒城，优快云博客专家，个人研究方向：机器学习、深度学习、NLP、CVBlog:http://yishuihancheng.blog.youkuaiyun.com本文翻译自大神Jaso...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值