LSTM学习记录

最新推荐文章于 2025-05-31 00:10:23 发布
最新推荐文章于 2025-05-31 00:10:23 发布
阅读量1.3k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： LSTM 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_25850819/article/details/89321876

一.从RNN谈起
相信接触过深度学习的朋友们应该十分清楚BP神经网络和CNN了。今天主要总结下RNN模型。
1.为什么提出RNN模型？
传统的神经网络模型输入输出有事相互独立的，有些连续性的任务无法解决。比如图像上的猫和狗等内容是分隔开的，但在一些自然语言处理问题上，输入和输出是不独立的。eg:我是中国人，我的母语是_____。在这个任务中，输出不仅依赖于输入，还和之前的一部分信息有关。
传统的神经网络无法解决输出对输入和之前信息的依赖关系，所以提出RNN（循环神经网络）。通过RNN可以解决“记忆”问题。
二.RNN的结构
在这里插入图片描述

  • Xt是t时刻的输入
  • St是t时刻的记忆，St=f(UXt+WS_t-1),f可以是tanh等。St只保存了前一时间点上的信息。但不能保存之前的所有信息。
  • Ot是t时刻的输出
  • RNN的整个神经网络都共享一组参数(U,V,W),极大减小了需要训练和预估的参数量
    三.双向RNN
    有些情况下，当前输入不仅取决于前一时刻，可能与下一时刻也有关。所以有进一步发展了双向RNN
    四.LSTM
    为解决RNN记忆能力的问题，进一步提出LSTM模型。LSTM和RNN大体结构相同，区别是：
  • 记忆细胞经过改造
  • 需要记忆的信息会一直传递，不需要记忆的会被“门”截断
    在这里插入图片描述
最低0.47元/天 解锁文章

200万优质内容无限畅学
长短期记忆神经网络（LSTM）介绍
willhu2008的专栏
12-12 8449
即随着输入数据的不断增加，上述自我循环的结构把上一次的状态传递给当前输入，一起作为新的输入数据进行当前轮次的训练和学习，一直到输入或者训练结束，最终得到的输出即为最终的预测结果。原始的RNN在训练中，随着训练时间的加长以及网络层数的增多，很容易出现梯度爆炸或者梯度消失的问题，导致无法处理较长序列数据，从而无法获取长距离数据的信息。下图展示了应用上一个时刻的输出h_t-1和当前的数据输入x_t，通过输出门得到o_t的过程，以及结合当前细胞的单元状态C_t和o_t得到最终的输出h_t的过程。
LSTM 学习笔记 之pytorch调包每个参数的解释
qq_36784503的博客
02-11 740
整理优秀的文章 LSTM入门例子：根据前9年的数据预测后3年的客流（PyTorch实现） [干货]深入浅出LSTM及其Python代码实现 整理视频 李毅宏手撕LSTM [双语字幕]吴恩达深度学习deeplearning.ai这里直接调用了nn.lstm 下面我作初学者解释一下里面的3个参数 input_size： 这个就是输入的向量的长度or 维度，如一个单词可能占用20个维度。 hidden_size： 这个是隐藏层，其实我感觉有点全连接的意思，这个层的维度影响LSTM 网络输入的维度，换句话说，LST
LSTM
qq_31724473的博客
07-12 1307
2.LSTM核心内容LSTM 的关键就是细胞状态（cell），水平线在图上方贯穿运行。细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。 LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。  Sigmoid 层输...
长短期记忆（LSTM）网络模型
最新发布
归去来兮的博客
05-31 1749
长短期记忆（Long Short-Term Memory，LSTM）网络是一种特殊的循环神经网络（RNN），专门设计用于解决传统 RNN 在处理长序列数据时面临的梯度消失 / 爆炸问题，能够有效捕捉长距离依赖关系。其核心在于引入记忆细胞（Cell State）和门控机制（Gate Mechanism），通过控制信息的流动来实现对长期信息的存储与遗忘。
理解LSTM
weixin_37958272的博客
07-08 333
理解LSTM 循环神经网络（Recurrent Neural Networks） 人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。 传统的神经网络并不能做到这一点，这是在对这种序列信息（如语音）进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类，传统的神经网络是很难通过利用前面的事件信息来对后面事件进行分类。 而循环神经网络（下面简称RNNs）可以通过不停的将信息循
LSTM 简介
steven_ysh的博客
12-16 5万+
LSTM ​长短期记忆网络 LSTM（long short-term memory）是 RNN 的一种变体，其核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径，让信息能在序列连中传递下去。你可以将其看作网络的“记忆”。理论上讲，细胞状态能够将序列处理过程中的相关信息一直传递下去。因此，即使是较早时间步长的信息也能携带到较后时间步长的细胞中来，这克服了短时记忆的影响。信息的添加和移除我们通过“门”结构来实现，“门”结构在训练过程中会去学习该保存或遗忘哪些信息。 遗忘门：决定应丢弃或保留哪些
BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU
xx_xjm的博客
11-04 2398
无
LSTM学习笔记
牧羊女
01-20 1162
LSTM模块的Pytorch实现
RNN&LSTM学习笔记
u010569893的博客
01-16 790
深度学习-RNN&LSTM学习笔记 RNN中的关键词： 时序数据：有前后依赖关系的数据序列。例如：对一个包含 3 个单词的语句，那么展开的网络便是一个有 3 层神经网络，每一层代表一个单词。 循环：RNN 之所以称为循环神经网路，是因为一个序列当前的输出与前面的输出有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，也就是说隐...
Text LSTM 学习笔记
qq_42901761的博客
07-31 865
LSTM，全程为Long Short-Term Memory(长短期记忆），是RNN（循环神经网络）的一种变体，它对RNN进行了改进并有效避免了常规RNN网络的梯度消失问题。 由于是对RNN网络的改进，所以它的框架跟RNN是相同的，只是隐藏层的比RNN网络复杂了很多。虽然同组的同学写了关于RNN的笔记，但是不妨先复习一下： 基本架构（RNN与LSTM相同） RNN有着神经网络很基本的结构，输入层（...
LSTM详解
Mr_wuliboy的博客
09-20 2582
废话不多说，直接上重点 LSTM模型是由时刻的输入词，细胞状态，临时细胞状态，隐层状态，遗忘门，记忆门，输出门组成。LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态，其中遗忘，记忆与输出由通过上个时刻的隐层状态和当前输入计算出来的遗忘门，记忆门，输出门来控制。 总体框架如图1所示。 ...
长短时记忆网络（LSTM）深度解析
qq_43664407的博客
05-17 801
​​结构创新​​：通过门控机制（遗忘门、输入门、输出门）和细胞状态，解决RNN的长期依赖问题​​数学本质​​：细胞状态的线性更新提供梯度稳定路径​​工程实践​​：需注意梯度裁剪（）防止梯度爆炸​​扩展方向​​：结合注意力机制（如Transformer）进一步提升长序列建模能力%20b_f%29%20b_i%29%20b_C%29%20b_o%291%7D%20b_f%29。
大名鼎鼎的LSTM详解
u012254599的博客
11-14 445
然而它为什么叫遗忘门呢，下面是我自己的看法，前面也说了,σ的输出在0到1之间，这个输出 f_t逐位与C_{t-1}的元素相乘，我们可以发现，当f_t的某一位的值为0的时候，这C_{t-1}对应那一位的信息就被干掉了，而值为(0, 1)，对应位的信息就保留了一部分，只有值为1的时候，对应的信息才会完整的保留。说实话，这个图确实很清晰明了（对于懂的人来说），一些很“显然”的问题就被忽略了，但是对于刚入门的人来说，一些基础的问题却要搞很久才能弄明白，我在原作者讲的很清楚的情况下再补充新手需要的内容。
如何从RNN起步，一步一步通俗理解LSTM
weixin_42692506的博客
07-29 1555
转自https://blog.youkuaiyun.com/v_july_v/article/details/89894058 如何从RNN起步，一步一步通俗理解LSTM 前言 提到LSTM，之前学过的同学可能最先想到的是ChristopherOlah的博文《理解LSTM网络》，这篇文章确实厉害，网上流传也相当之广，而且当你看过了网上很多关...
LSTM 详解
热门推荐
绝望的乐园
03-17 10万+
这篇文章打算讲一下LSTM，虽然这类文章已经很多了，但以前刚开始看的时候还是一知半解，有一些细节没有搞清楚，我打算借这篇文章好好梳理一下。 前言 在许多讲LSTM的文章中，都会出现下面这个图。 Alt text 说实话，这个图确实很清晰明了（对于懂的人来说）。在很多文章中我都发现了这样的问题，有的时候，对于已经明白的人，一些很“显然”的问题就被忽略了，但是对于刚入门的人来说，一些基础的问题却要搞...
LSTM与RNN的比较
张洁的笔记
04-14 5万+
参考博客：[译] 理解 LSTM 网络 之前提到了RNN，也提到了RNN在处理long term memory的时候存在缺陷，因此LSTM应运而生。LSTM是一种变种的RNN，它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。 下面来看一些RNN和LSTM内部结构的不同： RNN LSTM ...
机器学习——长短期记忆（LSTM）
beiye_的博客
03-20 8827
机器学习——长短期记忆（LSTM）
深入学习深度学习LSTM情感分析课程
最后，课程配套的压缩包子文件以.txt格式提供，表明课程内容详细地记录在文本文件中，便于学习者查阅和复习。文件列表中的'基于深度学习的LSTM情感分析课程.txt'暗示了课程内容的针对性和专业性，确保学习者能够获得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值