RNN和LSTM

最新推荐文章于 2025-04-19 15:15:59 发布
最新推荐文章于 2025-04-19 15:15:59 发布
阅读量2.2k 收藏 6
点赞数 1
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_63520910/article/details/124337786
版权
本文介绍了循环神经网络(RNN)的基础概念，如何处理长期依赖问题，以及LSTM（长短期记忆）的诞生及其内部机制。重点讲解了LSTM的门控机制和GRU（门控循环单元）的简化版，适合初学者理解记忆网络在自然语言处理中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果想了解CNN，推荐     CNN     卷积神经网络（CNN）入门讲解 - 知乎

参考B站视频  李宏毅机器学习-RNN网络   和吴恩达

一、引出RNN

        假设出现下面两种情况，显然第一句中Taipei是目的地，第二句中是出发地。当输入都是Taipei时，我们的输出要么都是目的地的概率高，要么都是出发地的概率高，出现不了一个是出发地的概率高，一个是目的地的概率高。因此，我们希望神经网络能有记忆力，记得在第一句中看到Taipei之前，看到过arrive，在第二句在看到Taipei之前，看到过leave,就可以根据上下文判断出来是出发地还是目的地，产生不同的输出。由此引出了RNN。

 二、介绍RNN

        一个简单的循环神经网络如下，它由一个输入层，一个隐藏层，一个输出层组成。然后我们可以看到在Hidden Layer 有一个箭头表示数据的循环更新, 这就是RNN中的记忆功能实现。如下图，绿色的隐藏层输出会被存储到蓝色的记忆单元中即进行值的更新，初始的记忆单元一般为0向量。这个输出的产生也不仅仅要考虑输入，还要考虑记忆单元。

     

 Example

开始整个流程之前，需要构造将store置初始值，一般选择零向量。假定权重都为1，而且激活函数都是线性函数，也没哟偏置。如下图：

隐藏层输出（即绿色圆）：y11=1*1+0+1*1+0=2  同理y12=2

输出层： y21=2+2=4同理y22=4

我们

最低0.47元/天 解锁文章
oyou-2021
关注
RNN神经网络与LSTM
Wukoufox的博客
09-21 2123
在RNN神经网络中，前一个层的输出结果会影响到后一个层的输出；相比于CNN而言，RNN可以获取前面更多的有用信息。即循环神经网络的每层输出结果都是被前面的时间步所影响总共有三个门：遗忘门、输入门、输出门遗忘门-----> Ct-1中的有用信息，也就是上一单元中单元状态信息输入门-----> 当前时刻的有用信息遗忘门与输入门两者共同得到当前单元的有用信息输出门----->获得隐状态的有用信息（ht）
rnn和lstm
u010412904的博客
12-01 429
RNN区别于普通神经网络的地方在于，前一时刻的状态会影响到后一时刻的状态，在网络结构上呈现隐藏层的自循环结构，不同时刻的参数共享，
一文读懂RNN＆LSTM
IT_GGMonster的博客
04-19 1406
在左边部分中，是神经网络的输入，是输入层到隐藏层之间的权重矩阵，是记忆单元到隐藏层之间的权重矩阵，是隐藏层到输出层之间的权重矩阵，是隐藏层的输出，同时也是要保存到记忆单元中，并与下一时刻的一起作为输入，是神经网络的输出。循环神经网络的记忆单元会保存时刻时循环层（既图中的隐藏层）的状态，并在时刻，将记忆单元的内容和时刻的输入一起给到循环层。要注意的是，在计算时，每一步使用的参数U 、 W 、 b U、W、bU、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点，一定要牢记。
tensorflow-RNN和LSTM
weixin_30505043的博客
04-06 262
本章主要介绍循环神经网络(recurrent neuralnetwork，RNN)和长短时记忆网络(long short-term memory，LSTM) 一. RNN简介 1.背景 循环神经网络挖掘数据中的时序信息以及语义信息的深度表达能力别充分利用，并在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。 循环神经网络的主要用途是处理和预测序列数据。在全连接神经网络或卷积神经网...
RNN与LSTM
lzw刘仔很忙的博客
01-25 1916
RNN，或者说最常⽤的LSTM，⼀般⽤于记住之前的状态，以供后续神经⽹络的判断，它由input gate、forget gate、output gate和cell memory组成，每个LSTM本质上就是⼀个neuron，特殊 之处在于有4个输⼊： 和三⻔控制信号 、 和 每个时间点的输⼊都是由当前输⼊值+上⼀个 时间点的输出值+上⼀个时间点cell值来组成。 介绍 在智能客服、智能订票系统中，往往会需要slot filling技术，它会分析⽤⼾说出的语句，将时间、地址 等有效的关键词填
RNN-LSTM卷积神经网络Matlab实现.zip
11-04
在深度学习领域，循环神经网络（Recurrent Neural Networks, RNN）和长短期记忆网络（Long Short-Term Memory, LSTM）是处理序列数据的强大工具，特别是在自然语言处理、语音识别和时间序列预测等方面表现出色。...
用于预测和预报的Python和MATLAB RNN-LSTM模型 RNN和LSTM模型在Python和MATLAB中编程用于温度
06-28
这项工作使用Python和MATLAB实现了RNN和LSTM模型，用于温度预测，包括设置、数据预处理、模型训练和使用MAE和RMSE等指标进行评估。它采用时间序列分析和统计评估技术，提供可视化来展示模型的准确性和实际应用。
基于MLP+RNN和LSTM的锂电池寿命预测（Remaining Useful Life，RUL）Python完整源码和数据
最新发布
06-05
基于MLP+RNN和LSTM的锂电池寿命预测（Remaining Useful Life，RUL）Python完整源码和数据，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载...
（通俗易懂）RNN及LSTM
qq_43703185的博客
09-07 5741
原文链接：https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098 本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/28054589 https://blo
RNN & LSTM（Recurrent Neural Network）
学习 & 分享 ~
06-02 830
RNN RNN 有很大的灵活性，可以用于： one to one（Vanilla Neural Network） one to many（Image Captioning 看图说话）image -> sequence of words many to one（Sentiment Classification 情感分析）sequence of words -> sentiment ma...
LSTM 与 RNN 的比较分析：找出优势和不足
AI天才研究院
12-31 3743
1.背景介绍 深度学习技术的发展，尤其是在自然语言处理、计算机视觉等领域的应用，已经取得了显著的成果。在这些领域中，循环神经网络(RNN)和长短期记忆网络(LSTM)是两种非常重要的神经网络架构，它们具有很强的表示能力和学习能力。在本文中，我们将对比分析 RNN 和 LSTM 的优势和不足，以帮助读者更好地理解这两种神经网络架构的特点和应用场景。 1.1 RNN 简介 RNN 是一种特殊的神...
RNN和lstm
03-28
### RNN与LSTM的区别 RNN（循环神经网络）是一种专门用于处理序列数据的神经网络模型，其核心特点是能够通过隐藏状态传递上下文信息[^1]。然而，标准的RNN存在梯度消失或梯度爆炸的问题，在长时间依赖的情况下表现不佳。 相比之下，LSTM（长短期记忆网络）作为RNN的一种变体，引入了复杂的门控机制来缓解这些问题。具体来说，LSTM通过“遗忘门”、“输入门”和“输出门”三种结构控制信息流，允许网络选择性地记住或忘记某些信息[^2]。“遗忘门”决定哪些先前的信息被丢弃，“输入门”负责更新细胞状态，而“输出门”则决定了当前时刻的输出值。这些机制使得LSTM能够在更长的时间跨度内保持重要的历史信息。 #### 改进之处 LSTM的主要改进在于解决了传统RNN难以捕捉长期依赖关系的问题。这是因为传统的RNN仅依靠简单的tanh激活函数无法有效存储时间跨度较大的信息，而LSTM通过精心设计的记忆单元和门控机制实现了这一点。 --- ### 应用场景比较 #### RNN的应用场景 尽管RNN在理论上适用于各种序列建模任务，但由于其固有的缺陷，实际应用中通常局限于较短时间范围内的预测问题。以下是典型的RNN应用场景： - **语音信号预处理**：对于一些实时性强、复杂程度较低的任务，如声学特征提取。 - **小型文本分类**：当数据集规模较小或者对计算效率要求较高时，可以选择使用基本形式的RNN。 需要注意的是，随着技术的发展，纯RNN已经逐渐被更加先进的架构所取代。 #### LSTM的应用场景 由于具备更强的学习能力，LSTM广泛应用于需要考虑远距离关联性的场合： - **自然语言处理 (NLP)** 如机器翻译、情感分析、问答系统等领域均大量采用LSTM模型。例如，在生成高质量译文的过程中，源语言句子可能包含多个影响最终结果的关键词组，这正是LSTM擅长应对的情况之一[^3]。 - **时间序列预测** 股票价格走势、天气预报等涉及连续变量的趋势判断非常适合运用LSTM来进行精准建模[^4]。 - **视频动作识别** 对于多帧画面组成的动态行为理解任务而言，LSTM可以很好地捕获跨帧间的逻辑联系并作出合理推断。 综上所述，虽然两者都属于序列学习范畴下的工具箱成员，但在性能层面显然LSTM占据优势地位。 ```python import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): out, _ = self.rnn(x) out = self.fc(out[:, -1, :]) return out class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): lstm_out, _ = self.lstm(x) out = self.fc(lstm_out[:, -1, :]) # 取最后一个时间步的结果 return out ``` 上述代码展示了如何构建基础版的RNN与LSTM模型，并突出体现了两者的差异——后者拥有额外参数配置选项以支持深层堆叠及双向扩展等功能特性开发需求。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值