简单聊聊Long Short Term Memory Network (LSTM)和 Gated Recurrent Unit (GRU)两种强大的RNN变体

最新推荐文章于 2024-05-29 07:45:00 发布
最新推荐文章于 2024-05-29 07:45:00 发布
阅读量776 收藏 1
点赞数
分类专栏： 葫芦爷救娃娃 文章标签： 人工智能 深度学习 机器学习 神经网络 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HowardEmily/article/details/105976588
版权
本文介绍了LSTM和GRU两种改进的RNN变体，它们有效解决了原始RNN的梯度消失和爆炸问题。LSTM利用遗忘门、输入门和输出门控制长期状态，而GRU则通过更新门和重置门简化了这一过程，降低了训练难度。这两种门控机制使得它们在处理长距离依赖时表现优秀，广泛应用于深度学习领域。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一篇关于RNN的文章最后，我们提到过由于梯度消失和梯度爆炸问题，使得RNN很难处理长距离的依赖。本文我们介绍两种改进后的RNN：LSTM(Long Short Term Memory Network)和Gated Recurrent Unit(GRU)。它们成功的解决了原始RNN的缺陷，成为当前比较流行的RNN，并在许多领域中成功应用。

Long Short Term Memory Network，LSTM

LSTM的结构

LSTM和RNN其实本质上很类似，只是在隐藏层做了“手脚”。原始的RNN的隐藏层只有一个状态，即h，它对短期的输入非常敏感。于是，LSTM就又添加了一个状态c，让它来保存长期的状态。如图:
{% asset_img 1.png %}

新增加的状态c，我们称为单元状态(cell state)。我们把上图按照时间维度展开得到：

了解本专栏 订阅专栏 解锁全文
Long ShortTerm Memory (LSTM)原理与代码实例讲解
AI天才研究院
08-06 977
Long Short-Term Memory (LSTM)原理与代码实例讲解 1. 背景介绍 1.1 RNN的局限性 传统的循环神经网络(Recurrent Neural Network, RNN)在
七. Long ShortTerm Memory Networks With Interpretable Fe
AI天才研究院
08-21 469
作者：禅与计算机程序设计艺术 1.简介 长短时记忆网络（Long Short-Term Memory networks，LSTM）是一个受到Hochreiter & Schmidhuber(1997)、Gers et al.(1999)等人的启发而提出的递归神经网络模型。传统RNN在处理时间序列
Long Short Term Memory networks (LSTM)
桃子的日常
09-25 2946
Long Short Term Memory networksAbstract**循环神经网络(Recurrent Neural Networks)****长期依赖性问题(The Problem of Long-Term Dependencies)****LSTM 网络(LSTM Networks)****LSTM 背后的核心理念(The Core Idea Behind LSTMs)****分步...
Long Short Term Memory networks(LSTMs)
wdmlovekerry的博客
05-20 659
背景：在我之前的一篇博客中说了一下对RNN的理解，RNN对于长句子表示的不是很好，超过六七层的网络之后就很难获得之前内容的信息了，目前的框架是基于梯度的，多层网络很容易出现梯度弥散的情况。但是对于NLP任务中，输入序列长度会很长，基本的RNN网络就不太适合处理这些任务了。于是大牛们Hochreiter & Schmidhuber [1]就提出了LSTM网络，让处理长序列也变得可能。原理：L...
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7914
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
算法学习笔记：长短期记忆网络（Long Short Term Memory Network)---（超详细！原理+结构分析+数学推导+代码）
weixin_61573157的博客
04-09 2388
本文解释了LSTM的背景以及基本原理，还有LSTM网络的整体结构以及单元体结构，结合动态图以及数学公式推导分析，还介绍了LSTM的代码以及代码中LSTM输入数据的分析！非常非常的详细和适合初学者！
LSTM理解
lff1208的博客
09-05 684
参考博文链接： 作者：Not_GOD 链接：http://www.jianshu.com/p/9dc9f41f0b29 來源：简书  http://www.jianshu.com/p/9dc9f41f0b29 LSTM逐步理解 在我们 LSTM 中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为忘记门层完成。该门会读取 h_{t-1} 和
循环神经网络--LSTM（Long-Short Term Memory）与GRU（Gated Recurrent Unit ）
叶强的博客
07-19 6942
LSTM；GRU
长短期记忆网络（Long Short-Term Memory，LSTM）.zip
04-13
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（Recurrent Neural Network，RNN），设计用于解决传统RNN在处理长期依赖问题时遇到的梯度消失和梯度爆炸问题。LSTM由德国科学家Sepp ...
长短期记忆网络（Long Short-Term Memory networks, LSTM）
热门推荐
weixin_39910711的博客
06-05 2万+
如何简单的理解LSTM——其实没有那么复杂：
长短时记忆网络 Long Short-Term Memory ｜ LSTM
JasonH2021的博客
07-08 2678
简单介绍了长短时记忆网络的基本概念，优缺点，应用场景，建模过程，实现的类库方法和代码案例等
long-short-term-memory-networks-with-python.7z
04-22
对LSTM的详细介绍书籍（全英文版），需要的可以看看
Long Short-Term Memory Networks With Python
01-30
作者为Jason Brownlee. 请支持正版！本资源供非商业用途共享！ About the Ebook: 3 parts, 14 step-by-step tutorial lessons, 246 pages. 6 LSTM model architectures. 45 Python (.py) files.
深度学习代码实战——基于RNN的时间序列拟合（回归）
12-21
1.前言 循环神经网络让神经网络有了记忆, 对于序列型的数据,循环神经网络能达到更好的效果.接着我将实战分析手写数字的 RNN分类 2.导入模块、定义超参数 import torch from torch import nn import numpy as np import matplotlib.pyplot as plt torch.manual_seed(1) TIME_STEP = 10 INPUT_SIZE = 1 LR = 0.02 3.数据准备且打印拟合目标 我们要用到的数据就是这样的一些数据, 用 sin 的曲线预测出 cos 的曲线，也即用sin拟合cos steps =
DL杂记：再议长短时记忆网络(Long Short Term Memory Network, LSTM)
MachineLP的专栏
01-20 2820
对rnn的一些模型结构可以查看这篇文章：RNN：几张图搞懂RNN模型构建 下面来 着重看一些lstm： LSTM：是一种改进之后的循环网络，可以解决rnn无法处理长距离依赖的问题。 首先看一下原始rnn： 其实rnn可以看成是一个很深的network。 如下图所示的形式。 但是原始rnn存在梯度消失 或者 梯度爆炸的情况， 梯度消失可以通过累积来体现（激活函数等）、梯度爆炸可以通过累加...
长短期记忆网络（Long Short-Term Memory，LSTM）
最新发布
weixin_43156294的博客
05-29 1280
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（Recurrent Neural Network，简称RNN）。LSTM的设计初衷是为了解决传统RNN在处理长序列数据时的梯度消失或梯度爆炸问题，使得网络能够学习到长期依赖关系。
长短时记忆网络：解决人工智能内存问题的关键技术
AI天才研究院
12-31 892
1.背景介绍 人工智能(Artificial Intelligence, AI)是一门研究如何让机器具有智能行为的科学。智能行为包括学习、理解自然语言、识图、推理、决策等多种能力。在过去的几十年里，人工智能研究者们一直在寻找一种能够解决这些问题的理论框架和算法。 在过去的几年里，深度学习(Deep Learning)成为人工智能领域的一个热门话题。深度学习是一种通过多层神经网络学习表示的方法，...
4 Short-Term Load Forecasting using A Long Short- Term Memory Network
qq_34514046的博客
08-25 463
本人亮点在于：给LSTM的输入很特别，只使用了负荷数据，但是方式不同以往，所以称为新方法，无语尼玛的     历史住宅消费数据的数量 In this paper, a novel approach to short-term load forecasting using a LSTM (long short-term memory) network based on RNNs (recur...
推荐系统常用评价指标(recall,MAP,MRR,NDCG,F1,ROC等)
Marcus-Bao的个人主页
03-05 8249
这里主要总结一下推荐系统当中常见的一些评价指标,主要包括: MAE,RMSE,recall,precision,MAP,MRR,NDCG等 MAE(Mean Average Error,平均绝对误差) 表示预测值和实际值之间的绝对误差的平均值. ##RMSE(Root Mean Square Error,均方根误差) 均方根误差是用来衡量观测值同真实值之间的偏差,RMSE越小越好. ##Reca...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Marcus-Bao

万水千山总是情,只给五角行不行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值