LSTM持续发力！与Transformer结合，一举拿下Nature！

最新推荐文章于 2025-05-06 13:18:30 发布
最新推荐文章于 2025-05-06 13:18:30 发布
阅读量1k 收藏 12
点赞数 5
文章标签： lstm transformer 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_88190197/article/details/144096224
版权

LSTM+Transformer是非常热门且好发顶会的方向！

目前，其在CV、NLP、时间序列等领域，都取得了令人瞩目的成果。比如模型LTARM，直接登顶Nature子刊，在多任务预测中，性能和计算效率都远超SOTA；ICCV上的SwinLSTM模型，则误差狂降584％倍……

主要在于，这种结合，既能处理长期依赖，又能并行处理整个序列，大大提高了计算效率。同时，LSTM与Transformer的互补性，也使得混合模型在处理长序列和短序列时都能取得更好的效果，具有更好的泛化能力和鲁棒性。

为了让伙伴们能够掌握这种结合的精髓，落地到自己的顶会中，我特地给大家整理了13种前沿创新思路，还配上了开源代码！

论文原文+开源代码需要的同学看文末

论文：Multi-Channel Multi-Step Spectrum Prediction Using Transformer and Stacked Bi-LSTM
内容

该论文提出了一种基于Transformer和堆叠双向长短期记忆网络（Bi-LSTM）的多通道多步谱预测方法，名为TSB。该方法利用多头注意力机制和堆叠Bi-LSTM来构建基于编码器-解码器架构的新Transformer，以深度捕捉多通道谱数据的长期依赖性。通过在真实模拟平台上生成的数据集进行广泛实验，表明TSB算法的性能优于基线算法。

论文：FocDepthFormer: Transformer with LSTM for Depth Estimation from Focus
内容

该论文提出的FocDepthFormer是一种基于Transformer的深度估计网络，它通过整合Transformer编码器、LSTM模块和CNN解码器来处理焦点堆叠图像。该模型利用自注意力机制捕捉非局部空间特征，并使用LSTM处理不同长度的图像堆叠，从而提高对任意长度焦点堆叠的泛化能力。

论文：SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM
内容

该论文提出的SwinLSTM是一种新型的循环单元，它结合了Swin Transformer模块和简化的LSTM，用于提高时空预测任务的准确性。该模型通过自注意力机制捕捉全局空间依赖，从而更有效地捕获时空依赖关系，在多个评估指标上优于现有的ConvLSTM等方法，展现了显著的预测性能提升。

论文：Deep Analysis of Time Series Data for Smart Grid Startup Strategies: A Transformer-LSTM-PSO Model Approach
内容

该论文提出了一种基于Transformer-LSTM-PSO模型的智能电网启动策略深度分析方法。该模型结合了Transformer的自注意力机制、LSTM的时间序列建模能力和粒子群优化算法的参数调整功能，旨在更有效地捕捉电网启动方案中的复杂时间关系，通过在多个数据集上的实验，该模型在预测准确性和效率上显示出显著的改进。

 关注下方《AI科研圈圈》

回复“LMTS”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏

DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5917
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
LSTM + Transformer 结合，模型性能效果炸裂
m0_73122726的博客
07-15 2720
近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！ 本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！
融合LSTM与Transformer做时间序列预测，发高分轻轻松松！
学姐带你玩AI的博客
03-06 1598
不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。这方向如今是深度学习领域的热门研究主题，前景非常可观，在工业物联网(如设备故障预警)、智慧城市(如交通流量预测)、生物医学、环境科学(如气象预测)等领域都有广泛应用。相关成果频繁发表于顶会顶刊，尤其是跨学科相关的。如果想做创新，建议聚焦，并结合实际工业需求设计实验(如大时滞、多变量场景)。本文整理了，需要参考的自取~全部论文+开源代码需要的同学看文末。
LSTM创新点不够？LSTM+transformer助你登顶Nature！
2501_91057708的博客
03-24 1178
2024年LSTM已经没有创新点了吗？何尝不换个角度LSTM + transformer做融合创新仍能登顶nature。LSTM擅于捕捉短期模式，却难以长效捕获复杂的依赖关系；Transformer虽能掌握全局趋势，却因计算复杂性而难以满足实时预测的需求。两者分别单独使用都会面临不同的问题，如无法捕获短期关系或计算复杂度过高。LSTM + transformer将两者的优势结合，助力工程系统实现高效、精准的多任务实时预测。
transformer➕lstm训练回归模型
最新发布
m0_68856746的博客
05-06 536
我们定义了一个包含 Transformer 和 LSTM 的混合模型。Transformer 模块采用了多头自注意力机制（MultiHeadAttention），并与 LSTM 网络共同处理时序数据。# Transformer 模块# LSTM 模块# 全连接层# 输出层# 学习率调度# Transformer 模块x = layers.Add()([x, inputs]) # 残差连接# LSTM 模块# 聚合时间步的输出# 全连接层# 输出。
厉害了，LSTM+Transformer王炸创新，精准度又高了！
m0_59235945的博客
08-23 3699
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
Transformer和LSTM相结合--应用场景
GDHBFTGGG的博客
08-14 2631
将Transformer和LSTM相结合可以在多种自然语言处理（NLP）任务中取得显著效果，特别是在需要捕捉长短期依赖的场景中。结合的目的是利用Transformer的全局注意力机制和LSTM的短期记忆能力，实现更强大的序列建模。
综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率
机器学习社区
09-11 644
选自arXiv作者：Andrea Banino等机器之心编译编辑：陈萍、杜伟来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。近些年，多智能体强化学习取得了突破性进展，例如 DeepMind 开发的 AlphaStar 在星际争霸 II 中击败了职业星际玩家，超过了 99.8% 的人类
推荐模型LSTM
frank_zhaojianbo的博客
06-06 881
import os import pandas as pd import numpy as np from tqdm import tqdm from sklearn.decomposition import LatentDirichletAllocation from sklearn.metrics import accuracy_score import time import datetime from scipy.sparse import hstack from sklearn.model_se
结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%
热门推荐
学姐带你玩AI的博客
04-26 1万+
LSTM通过门控机制有效捕捉序列中的长期依赖关系，防止梯度消失或爆炸，在处理具有长期依赖性的时间序列数据时有显著优势。而Transformer通过自注意力和多头注意力机制全面捕捉序列依赖，能够同时考虑输入序列中的所有位置，更好地理解上下文关系，实现高效的并行计算。这种策略结合了两者的优势，在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构，以及精度高达95.65%的BiLSTM-Transformer。本文整理了。
LSTM+Transformer时间序列预测（Pytorch完整源码和数据）
11-14
LSTM+Transformer时间序列预测时间序列预测结合了Transformer和LSTM的深度学习模型，用于处理具有多个特征输入的时间序列数据，并进行预测。 6.作者介绍：机器学习之心，博客专家认证，机器学习领域创作者，2023博客...
LSTM卷土重来之Vision-LSTM横空出世！！
一个热爱ai的研究生
06-08 1191
值得注意的是，在公平的比较中，ViL的表现优于经过多年超参数调整和Transformer改进的ViT训练pipeline。以双向方式遍历块 —— 即在每个块中引入第二个 mLSTM 层，该层向后遍历序列（类似于 Vim），提高了性能，但也需要更多的参数和 FLOPS。享誉数十年的LSTM最近被扩展为一个可扩展且性能优良的架构——xLSTM，通过指数门控和可并行化的矩阵内存结构克服了LSTM长期存在的限制。ViL的核心是交替的mLSTM块，这些块是完全可并行化的，并配备了矩阵内存和协方差更新规则。
1+1＞2 LSTM与Transformer强强联合
2401_88556812的博客
01-20 742
深度LSTM（Depth-WiseLSTM）：提出了一种新的Transformer架构，使用深度LSTM连接级联的Transformer层和子层，将Transformer层的输出视为时间序列的步骤，并管理层内和层间的表示聚合。深度Transformer的收敛性：深度LSTM能够支持多达24层的深度Transformer的收敛，且12层使用深度LSTM的Transformer性能已与24层普通Transformer相当，表明了更高效的每层参数使用。
Block Recurrent Transformer：结合了LSTM和Transformer优点的强大模型
deephub
07-08 5750
在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。但是我实际测试效果并不好，直到2022年3月Google研究团队和瑞士AI实验室IDSIA提出了一种新的架构，称为Block Recurrent Transformer [2]。从名字中就能看到，这是一个新型的Transformer模型，它利用了lstm的递归机制，在长期序列的建模任务中实现了显著改进。在介
LSTM+transformer+稀疏注意力机制(ASSA)时间序列预测(pytorch框架)
lxh1244607107的博客
09-03 3884
transformer,LSTM,ASSA注意力首发原创！纯个人手打代码，自己研究的创新点，超级新。可以发刊，先发先的，高精度代码。需知：好的创新性模型可以事半功倍。目前太多流水paper，都是旧模型，老师已经审美疲劳，很难发好一点的刊，这种模型很新，让paper审核老师眼睛一亮，老师就会觉得你有水平，关注顶会前沿热点，非常好中稿。上限下限都非常高，适合高等级的同学（继续优化）和没有经验的小白（直接用就行了）。python代码，pytorch架构。
LSTM+Transformer模型交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型
前程算法屋的博客
07-13 1999
LSTM+Transformer模型交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型
融合LSTM与Transformer做时间序列预测，发高分轻轻松松！收藏这一篇就够了！！
bugyinyin的博客
03-12 1166
LSTM结合Transformer，在时间序列预测上效果拔群！ 不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。
RNN&LSTM&Transformer&CNN
weixin_45928096的博客
03-22 4152
对于图片分类，输入的每张图往往都是独立的，前后无关，这时CNN就够了。 但是对于很多语言类的问题，输入的语境和语序都是很重要的此时要用到RNN，RNN考虑了时序的变化，让神经网络有了某种记忆的能力。 即普通RNN无法回忆起久远记忆的原因：梯度消失或者梯度爆炸，所以提出了LSTM，实质是：过滤重要特征 忽略无关信息 可以形象地理解为LSTM加了一个日记本。多出了三个控制器：输入、输出、忘记 在Transformer中，编码器&解码器架构表现得最好。transformer的优点是对大数据适配能力强
lstm和transfomer混合模型
01-21
### LSTM与Transformer混合模型架构 LSTM与Transformer的结合旨在充分利用两种模型的优势。LSTM擅长处理长时间依赖问题，而Transformer通过自注意力机制能够并行化计算，并有效捕捉全局上下文信息。 #### 架构设计 一种常见的组合方式是在特征提取阶段使用LSTM，在高层抽象表示学习部分采用Transformer。具体来说： - **输入层**：接收原始时间序列数据作为输入。 - **LSTM编码器**：用于初步的时间序列建模，捕获局部动态特性。对于较长的时间序列，可以考虑堆叠多个LSTM层来增强表达能力[^1]。 ```python import torch.nn as nn class LSTMLayer(nn.Module): def __init__(self, input_size, hidden_size, num_layers=2): super(LSTMLayer, self).__init__() self.lstm = nn.LSTM(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) def forward(self, x): out, _ = self.lstm(x) return out ``` - **中间转换模块**：将LSTM输出转化为适合送入Transformer的形式。通常会涉及到维度调整操作，比如线性变换或池化等。 ```python class TransitionLayer(nn.Module): def __init__(self, lstm_hidden_dim, transformer_input_dim): super(TransitionLayer, self).__init__() self.linear = nn.Linear(lstm_hidden_dim, transformer_input_dim) def forward(self, x): transformed_x = self.linear(x) return transformed_x ``` - **Transformer解码器/编码器**：负责进一步提炼高层次语义信息。可以根据实际需求选择仅用作编码器还是构建完整的编解码框架。 ```python from transformers import BertConfig, EncoderDecoderModel config = BertConfig() transformer_model = EncoderDecoderModel.from_encoder_decoder_pretrained('bert-base-uncased', 'bert-base-uncased') ``` #### 实现方法 整个系统的实现涉及以下几个方面的工作： - 数据预处理：确保输入到LSTM的数据格式正确无误；对齐不同源的数据流以便于后续处理； - 参数调优：针对特定任务微调超参数设置，如隐藏层数量、激活函数的选择等； - 训练策略：定义损失函数形式及其优化算法配置；监控验证集上的表现以防止过拟合现象发生。 #### 应用场景 这种混合型神经网络特别适用于那些既存在复杂模式又具有明显顺序特性的领域，例如自然语言处理中的机器翻译、语音识别以及生物医学工程里的基因组数据分析等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值