台湾大学深度学习课程 学习笔记 Lecture 5-1: Gated RNN（LSTM与GRU介绍）

最新推荐文章于 2025-10-07 14:19:53 发布
原创 最新推荐文章于 2025-10-07 14:19:53 发布 · 2.9k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #LSTM #GRU #公开课 #RNN

这篇博客是台湾大学深度学习课程的学习笔记，重点讲解了LSTM和GRU两种门控循环神经网络。内容涵盖RNN回顾、Deep RNN、双向RNN，详细介绍了LSTM的结构、工作原理以及GRU的简化设计，并对比了LSTM与GRU的差异。文中引用了相关文献，探讨了不同处理方式对LSTM效果的影响。

以下内容和图片均来自台湾大学深度学习课程。
课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html

Review

首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。

RNN

假设现在有3个sequence表示为 x1 、 x2 、 x3 ，设定的初始化向量 h0 ；将 x1 与 h0 放入function f 中，得到 y1 与 h1 ， h1 是和 h0 维度一样的；把 x2 与 h1 放入与之前一样的 f 中，得到结果 y2 与 h2 ；继续直到完成全部的sequence。
RNN结构

Deep RNN

上面说的方法只有一个隐藏层，RNN当然也可以是多个隐藏层的Deep RNN。如下图，输出的 y1 结果可以和另一个初始化的向量 b0 放到另一个function f2 中，得到 c1 与 b1 ，然后继续……
deep RNN

Bidirectional RNN 双向

首先从 x1 到

最低0.47元/天 解锁文章
深度学习入门课程---LSTM网络结构简介视频教程.mp4
02-07
深度学习入门课程---LSTM网络结构简介视频教程，希望能够学习者提供帮助，实现对LSTM网络结构基础知识的掌握与理解，为后续学习做好铺垫，实现LSTM网络结构知识的灵活运用
【宅着宅着就学习惯了】机器学习课程-LSTM实战代码
05-11
【宅着宅着就学习惯了】机器学习课程——LSTM实战代码 完整的LSTM应用代码 简单，清晰，可灵活套用
台湾大学深度学习课程 学习笔记 lecture3-1 Recurrent Neural Network (RNN)
scxyz的博客
12-20 1253
Recurrent Neural Network （RNN）循环神经网络常被用到的领域是Language Modeling，下面就从Language Modeling方法的发展，引入RNN。Language Modeling多个word组成一句话，根据一句话出现的概率可以得到更符合语法结构和有意义的句子。 比如根据给出的一段语音，可以得到两种完全不同的句子“recognize speech”、“w
台湾大学深度学习课程 学习笔记 lecture1-2 Neural Network Basics
scxyz的博客
12-10 912
以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 本节课主要讲了三个问题： 1. What is the model? (function hypothesis set) 2. What does a “good” function mean? 3. How d
RNN、LSTM与GRU模型
最新发布
qq_64232275的博客
10-07 1260
本文系统比较了三种循环神经网络模型：传统RNN、LSTM和GRU。RNN结构简单但存在长序列记忆缺陷；LSTM通过门控机制解决了梯度问题，但计算复杂度高；GRU在保持性能的同时简化了结构。文章详细分析了各模型的原理、PyTorch实现、维度变化及优缺点，并提供了结构对比表和性能评分（RNN短序列处理★★★★★，LSTM长序列处理★★★★★）。建议根据任务复杂度选择模型：简单任务用RNN/GRU，复杂任务用LSTM，资源受限选GRU。文中还包含超参数调优、梯度处理等实战建议，为序列建模任务提供了全面的技术参考
《深度学习进阶：自然语言处理》读书笔记：第6章 Gated RNN
weixin_44850744的博客
08-25 598
不幸的是，随着时间的回溯，这个简单RNN未能避免梯度变小（梯度消失）或者梯度变大（梯度爆炸）的命运。而LSTM的反向传播进行的不是矩阵乘积计算，而是对应元素的乘积计算，而且每次都会基于不同的门值进行对应元素的乘积计算。本章的主题是Gated RNN，我们指出了上一章的简单RNN中存在的梯度消失（或梯度爆炸）问题，说明了作为替代层的Gated RNN（具体指LSTM和GRU等）的有效性。我们想要的是一个泛化能力强的模型，因此必须基于训练数据和验证数据的评价差异，判断是否发生了过拟合，并据此来进行模型的设计。.
台湾大学李宏毅深度学习1
潜艇
09-19 861
深度学习的三个步骤 Neural Network(神经网络)：我们经常设计神经网络，并且让机器从数据中寻找参数。 Cost function(成本函数)：用来判断一组参数是好还是不好 Optimization(最优化)：找到最好的函数 Fully connected layer(全连接层)： 第i-1和第i层之间两两相连。第l-1层的第1个神经与第l层的第2个神经相连，得到的是w21...
LSTM和GRU的对比和分析
热门推荐
Kevin.Shi
02-12 1万+
先给出一些结论： GRU和LSTM的性能在很多任务上不分伯仲。 GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。 从结构上来说，GRU只有两个门（update和reset），LSTM有三个门（forget，input，output），GRU直接将hidden state 传给下一个单元，而LSTM则用memory cell 把hidden state 包装起来。 基...
Stanford CS230深度学习（七）RNN和LSTM
weixin_44750583的博客
06-11 626
在CS230的lecture 6中主要吴恩达老师讲述了一些关于机器学习和深度学习的tips，用一个触发词台灯的例子教我们如何快速的解决实际中遇到的问题，这节课主要是偏思维上的了解，还是要实际问题实际分析。 在课后的coursera上的C4M3和C4M4主要是卷积神经网络的一些应用，包括用YOLO算法进行目标检测（Object detection）、基于Inception v2进行人脸识别（Face recognition）、基于VGG19完成神经风格迁移（Neural style transfer）等。 所
深度学习之GRU网络
fu6543210的博客
06-02 3954
1、GRU概述 　　GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 　　在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下图所示： 　　　　 　　图中的...
吴恩达深度学习课后习题第五课第三周编程作业2:Trigger Word Detection
weixin_71479720的博客
07-18 598
吴恩达深度学习课后习题第五课第三周编程作业2:Trigger Word Detection
机器学习与深度学习系列连载： 第二部分 深度学习（十四）循环神经网络 2（Gated RNN - LSTM ）
Doctor Wu的博客
11-09 1051
循环神经网络 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特点，所以，在实际应用中，带有门限的RNN模型变种（Gated RNN）起着至关重要的作用，下面我们来进行介绍： LSTM (Long Short-term Memory ) LSTM 是一个比较难理解的网络架构，有4个输入（3个Gate），1个输出 1 LSTM的运算过程 我们以x1,x2...
Transformer-深度学习-台湾大学李宏毅-课程笔记
m0_49683806的博客
10-26 938
Transformer是一种基于自注意力机制（self-attention）的神经网络模型，用于序列到序列（sequence-to-sequence）任务，如机器翻译和文本摘要。它在2017年由Vaswani等人提出，并在机器翻译任务中取得了显著的性能提升。
Gated RNN & Sequence Generation
Assassintt的专栏
10-11 572
文章目录• RNN with Gated Mechanism 门控制机制的RNNLSTMGRU• Sequence Generation• Conditional Sequence Generation• Tips for Generation • RNN with Gated Mechanism 门控制机制的RNN 有记忆的function, 输入 h 为初始的一个vector, 反复使用一...
台大李宏毅深度学习讲义 - 初识篇章
weixin_28988985的博客
08-06 418
深度学习是机器学习领域的一个子集，以人工神经网络为基础，致力于构建和训练多层网络结构。它模拟了人脑处理信息的机制，通过多层次的抽象来学习数据的复杂结构。这种技术的起源可以追溯到20世纪50年代的感知机，经历了多次低谷和高潮后，得益于硬件进步和大数据时代的到来，深度学习在21世纪初迎来了大爆发。李宏毅，台湾大学的教授，是深度学习和人工智能领域的知名学者。他的研究集中在多个方向，涵盖了语音识别、图像处理以及自然语言处理等领域。由于其在深度学习领域的卓越贡献，李教授所开设的课程在国际上享有高度声誉。
《深度学习进阶：自然语言处理》第6章 Gated RNN
MangoGO的博客
05-09 360
参数更新是依靠输出结果与标签数据的差异求得梯度，并通过反向传播将梯度传递给上游的参数，由此输出结果与标签数据的差异体现出的有效信息被参数学习到。假设词汇量为 V，LSTM 的隐藏状态的维数为H，则Embedding层的权重形状为V×H，Affine层的权重形状为H×V。在PTB数据集上学习语言模型的情况下，当LSTM的层数为2～4时，可以获得比较好的结果。使用RNN的模型中，将Dropout层插入在LSTM层的时序方向上，随着时间的推移，信息会渐渐丢失，因Dropout产生的噪声会随时间成比例地积累。
第六章 Gated RNN
lumoumou`s blogs
04-15 647
上一章的 RNN 存在环路，可以记忆过去的信息，其结构非常简单，易于实现。不过，遗憾的是，这个 RNN 的效果并不好。原因在于，许多情况下它都无法很好地学习到时序数据的长期依赖关系。现在，上一章的简单 RNN 经常被名为 LSTM 或 GRU 的层所代替。实际上，当我们说 RNN 时，更多的是指 LSTM 层，而不是上一章的 RNN。顺便说一句，当需要明确指上一章的 RNN 时，我们会说“简单 RNN”或 “Elman”。LSTM 和 GRU 中增加了一种名为 “门” 的结构。
深度学习之自然语言处理（Gated RNN）
weixin_55922470的博客
05-16 473
遗忘门从上一时刻的记忆单元中删除了应该忘记的东西，但是这样一来，记忆单元只会忘记信息。输入门不会不经考虑就添加新信息，而是会对要添加的信息进行取舍。的各个元素，调整它们作为下一时刻的隐藏状态的重要程度。为了解决梯度消失问题，需要从根本上改变 RNN 层的结构，提出Gated RNN。记忆单元的特点是，仅在 LSTM 层内部接收和传递数据。此时，关注时间方向上的梯度，可知反向传播的梯度流经 tanh。这样一来，新的信息就被添加到了记忆单元中。的对应元素的乘积添加到记忆单元中。会发生梯度消失和梯度爆炸的问题。
斯坦福大学iOS开发课程：2010秋Lecture 5 - Protocols与UIView深度解析
"斯坦福大学开放课程：iOS开发教程2010年秋(Lecture 5)，涵盖Objective-C协议、视图、内存管理等主题。" 在这节2010年秋季的斯坦福大学iOS开发课程中，讲解了几个关键概念，主要集中在Objective-C的协议、视图系统...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值