lstm不收敛_LSTM学习笔记

最新推荐文章于 2025-05-16 21:48:44 发布
最新推荐文章于 2025-05-16 21:48:44 发布
· 1.5k 阅读 · 0
文章标签：

#lstm不收敛

这篇博客介绍了LSTM神经网络，旨在解决标准RNN在处理序列数据时的短时记忆和训练收敛问题。LSTM通过其遗忘门、输入门和输出门机制来选择性地保留和丢弃信息，从而能够记忆更长序列并优化训练过程。LSTM应用广泛，包括one to many、many to one和many to many等场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

60890aa2bae4cc8da7b635b47e2ed6b4.png

最近实验中需要用到LSTM，记录下我对LSTM的理解。

什么是LSTM？

首先介绍一下标准的RNN，它拥有记忆能力，适合处理序列型的数据，比如语音识别，但它有有以下缺点：

  • 只能记住非常短的序列
  • 难以训练，收敛困难

dcbd2d42008481e884e338fcd63ba336.png
RNN的结构

LSTM全名“长短期记忆神经网络”，正好解决了RNN的缺点。LSTM会选择性忘记不重要的信息，因此它能记住更长的序列，且它更容易训练

af720c9e0b5f7031ba727263b338004d.png
LSTM的结构

LSTM的关键是单元（门）的状态，即贯穿图顶部的水平线。门由sigmoid层、tanh层和乘法运算组成

LSTM原理

LSTM的第一步决定要从单元状态丢弃什么信息，这个决定由“遗忘门”做出，输出值介于0和1，0表示完全忘记，1表示完全记住

0f0bb90a5125497abd18e5444cabcb66.png
遗忘门

第二步决定要在单元状态中存储什么新信息。它有两部分：首先，“输入门”的sigmoid决定更新哪些值，接下来，tanh创建新的候选向量，在下一个步骤中，把两者结合起来对状态更新

1ae77dda009144189e25291dfc962cf8.png
输入门

这一步对状态进行更新

472a3665bd47e02470d9fe5fd333cd48.png

最后需要计算输出什么

8ce608f9ca0bcc00b99ee2abbcf5a74b.png

LSTM的应用

  • one to many：输入不是序列，输出是序列，比如看图写诗
  • many to one：输入是序列，输出不是序列，比如视频分类、步态识别
  • many to many：输入是序列，输出也是序列，比如语音识别、机器翻译

references

Understanding LSTM Networks​colah.github.io 「公开课干货分享」LSTM长短期记忆神经网络的学习与实现​www.bilibili.com
想问一下LSTM为啥不收敛
qq_41102254的博客
03-01 3021
按照别人的代码写了一个三层的 LSTM的代码，输入为（-1，stpes，input）的形式，具体大小为（32，10，512），做动作识别的，但是网络的损失值一直为固定范围内的值大概是四点多，网络损失一直不下降，请问是哪里错了吗，下面是那部分的代码 n_hidden_units=128 # 隐藏层神经元数目 num_layers=3 # 双向lstm神经网络的层数 n_s...
DeepLearning之LSTM模型输入数据：白话降维解说
weixin_42101836的博客
07-07 8065
1. 对于LSTM的输入参数的理解的应用。 2. LSTM模型真正的输入数据是什么样的？ 3. 通过LSTM的输入数据实例的讲解，更好的理解循环神经网络的输入数据。
深度学习模型：LSTM (Long Short-Term Memory) - 长短时记忆网络详解
热门推荐
池央的博客
11-28 3万+
在深度学习领域，循环神经网络（RNN）在处理序列数据方面具有独特的优势，例如语音识别、自然语言处理等任务。然而，传统的 RNN 在处理长序列数据时面临着严重的梯度消失问题，这使得网络难以学习到长距离的依赖关系。LSTM 作为一种特殊的 RNN 架构应运而生，有效地解决了这一难题，成为了序列建模领域的重要工具。
lstm不收敛_RNN、LSTM原理以及paddle中使用
weixin_39842918的博客
11-20 557
1. 背景 查阅lstm相关资料，发现很多博客写得语焉不详，内容也多有雷同。笔者从以下几个问题，尽量用精简的语言，梳理lstm的原理。rnn/lstm的结构rnn/lstm的梯度计算表达式paddle使用lstm。2. rnn/lstm的结构 rnn(英文名recurrent neural network)递归神经网络，输入序列数据(文章里统一指代时间序列数据)，一般为三维(batch...
LSTM训练无法收敛
weixin_40771875的博客
03-12 1万+
LSTM不收敛问题 问题描述 我准备用LSTM建立一个关于时序数据的映射问题，简单点来说就是输入一段有序的数据，经过LSTM之后输出另一段有序的数据，例如输入一段行走的动画骨架数据，输出一段跑的骨架数据。 我的方法 使用了三层的LSTM,将走的数据当作输入，跑的数据当做标签，将网络输出的结果和我的标签数据进行对比（使用了MSE损失函数），然后反向传播改进网络。 我的问题 网络不收敛，损失函数下降...
lstm不收敛_RNN和LSTM有长期记忆吗？华为诺亚方舟实验室与港大联合发表在ICML2020的论文将为你揭开谜底...
weixin_39587822的博客
11-22 345
引言为了克服递归网络(RNN)学习长期依赖的困难，长短期记忆(LSTM)网络于1997年被提出并后续在应用方面取得了重大进展。大量论文证实了LSTM的实用性并试图分析其性质。而“RNN和LSTM是否具有长期记忆？”这个问题依然缺少答案。本论文从统计学的角度回答了这一问题，证明了RNN和LSTM在做时间序列的预测时不具备统计意义上的长期记忆。统计学已有的对于长期记忆的定义并不适用于神经网络...
深度学习试题_深度学习面试题及参考答案
weixin_39691968的博客
11-21 3077
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxCNN权值共享问题首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特征，就好比上面的水...
深度学习笔记23-LSTM实现火灾预测(Tensorflow)
最新发布
m0_67869333的博客
05-16 748
数据探索与预处理数据结构：数据集包含 5948 条记录，特征列为 Time、Tem1、CO1、Soot1，其中 Time 为时间戳，Tem1 为目标变量。可视化分析：使用matplotlib和seaborn绘制时间序列曲线，观察到 Tem1 在后期显著上升（最高达 295℃），CO1 和 Soot1 呈缓慢增长趋势，初步判断数据具备时间依赖特征。归一化处理：通过将特征值缩放到 [0, 1] 区间，确保模型收敛稳定性。滑动窗口构造样本。
学习笔记TF035:实现基于LSTM语言模型
利炳根
08-12 820
神经结构进步、GPU深度学习训练效率突破。RNN，时间序列数据有效，每个神经元通过内部组件保存输入信息。卷积神经网络，图像分类，无法对视频每帧图像发生事情关联分析，无法利用前帧图像信息。RNN最大特点，神经元某些输出作为输入再次传输到神经元，可以利用之前信息。xt是RNN输入，A是RNN节点，ht是输出。对RNN输入数据xt，网络计算得输出结果ht，某些信息(state,状态)传到网络输入。输出ht
MachineLearning_机器学习笔记_
09-30
《机器学习笔记——深入探索与理解》 在当今数字化时代，机器学习作为人工智能的一个关键分支，已经在各个领域展现出强大的潜力和应用价值。本笔记旨在帮助读者深入理解和掌握机器学习的基本概念、理论框架以及实践...
RNN/LSTM/GRU 学习笔记
Curz酥的博客
02-05 1371
深度学习笔记
lstm不收敛_LSTM 股票市场预测入门
weixin_39850331的博客
11-20 472
作者：宋彤彤相信很多人都会对股票市场数据的起起伏伏感到好奇，特别想知道他们未来的趋势会是怎样，最近看到一篇用 LSTM 做初步的股票市场预测的文章，在这里分享给大家。1. LSTM 神经元首先我们来认识一下 LSTM 神经元：长期困扰传统神经网络结构的一个基本问题是解释“信息”和“上下文”相互依赖的输入序列。这里的“信息”可以是句子中先前的单词以允许上下文预测下一个单词可能是什么，或者它可以是序列...
lstm不收敛_ICLR 2019 最佳论文 ON-LSTM
weixin_39935092的博客
11-22 324
最近ICLR2019接受论文已经公布，最佳论文也跟着亮相了，这篇是两篇最佳论文中的其中一篇，另外一篇是《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。本文题目是《Ordered Neurons: Integrating Tree Structures Into Recurrent N...
神经网络不收敛的 原因
LaineGates的专栏
06-29 1292
原文 原文标题：My Neural Network isn’t working! What should I do? Github Notes 前言 如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因： 忘记对你的数据进行归一化 忘记检查输出结果 没有对数据进行预处理 没有使用任何的正则化方法 使用了一个太大的 batch size 使用一个错误的学习率 在最后一层使用错误的激活函数 网络包含坏的梯度 网络权重没有正确的初始化 使用了一个太深的神经网络 隐藏层神经元数
lstm不收敛_LSTM原理及实践（二）：预测收盘价
weixin_39555579的博客
11-22 1120
介绍完上一节的理论后，我们来实际运用一下，运用ETFs的开高低收四个来预测下一个工作日的收盘价。此文只是写lstm的运用的一个例子，请不要运用于真实预测。。。因为ETFs，stock的价格不仅仅只是时序序列这么简单。这个项目主要用了pytorch，是一个我本人比较喜欢感觉比较容易上手的深度学习框架。数据读取以及处理：# 导入相关包 读入ETFs数据，把时间作为index，只留下开高低收四个变量用于...
lstm不收敛_通俗易懂LSTM｜RNN的变种结构 | LSTM长短期记忆网络
weixin_39587246的博客
11-22 316
学习目录阿力阿哩哩：深度学习 | 学习目录​zhuanlan.zhihu.com前面我们介绍了:阿力阿哩哩：通熟易懂RNN｜RNN与RNN的变种结构 | 上​zhuanlan.zhihu.com4.6RNN与RNN的变种结构这一节，笔者将给大家介绍深度学习的RNN结构变种LSTM长短期记忆网络（Long-Short Term Memory Networks）。4.6.4 LSTM长短期记忆网络笔者...
解决交叉熵损失不收敛的问题
t20134297的博客
11-07 5961
最近在训练一个分类类网络的时候，发现损失不收敛，网络的各个部分没有问题，输入输出都是正常的情况，但就是网络的损失不收敛，最开始的交叉熵损失在6左右，一直到50个epoch以后，损失依然是5左右，map 和rank1都很扎心。 后来分析后发现，最后的分类网络送出来的各个值都太小了，使得经过softmax后的各个类别的概率差异不大，为了解决这个问题，在将分类网络送出的结果，在送入交叉熵损失函数之前，加一个temperature就可以了。 1.下面的代码是不收敛的一个伪代码，分类网络送出来以后，直接送入了交叉
神经网络不收敛的查缺补漏
WeisongZhao
08-21 1824
数据归一化 数据归一化包括三个内容：数据缩放的本质、区别，以及选择合适的缩放方法。缩放包括归一化和标准化，两者的本质都是一个线性变换，线性变换有很多良好的性质，这些性质决定了为什么对数据进行改变后竟然不会失效，反而还能提高数据的表现。例如线性变换不会改变数值的排序。 归一化和标准化的而区别，归一化是统一到一定的区间（由极值决定），而标准化和整体样本由很大关系。 什么时候使用归一化/标准化， 如果对...
总结 | 神经网络训练不收敛或训练失败的原因
小白学视觉
03-28 1691
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编者荐语文章分别从数据方面和模型方面分析了导致模型训练不收敛或失败的原因，数据方面总结了四种可能的原因，模型方面总结了九种可能的问题。除此之外，文章介绍了每种潜在问题的产生后果或现象，并提供了常规做法。作者丨风影忍着@知乎链接丨https://zhuanlan.zhihu.com/p/285601835在面对模型不收敛的时候，...
深度学习LSTM笔记：掌握数据处理关键技术
根据给出的标题“lstmk-data-maste笔记”，可能是指对LSTM进行数据处理和模型训练的学习笔记。标题中的“lstmk”可能是对“LSTM”拼写时的笔误。 10. LSTM在实际项目中的注意事项: 在实际应用LSTM模型时，需要关注...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值