（11）时间序列预测之xLstm

已于 2024-12-05 14:08:10 修改
阅读量1.6k 收藏 29
点赞数 14
分类专栏： 时间序列预测模型 文章标签： 人工智能 transformer 深度学习
于 2024-11-29 13:55:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_62113015/article/details/144130336
版权

文章目录

前言

1. LSTM 结构

在这里插入图片描述

在这里插入图片描述

2. sLSTM结构

  引入了指数门（红色）以及归一化和稳定化

在这里插入图片描述

  其整体结构如下（未涉及稳定化）所示：

在这里插入图片描述
  对更新门和遗忘门进行稳定化处理:

在这里插入图片描述
同时，还支持以下结构
  记忆混合（Memory Mixing）：sLSTM允许通过循环连接（recurrent connections）进行记忆混合，这在原始的LSTM中是不可能的。这种新的记忆混合技术允许sLSTM在不同的内存单元之间共享信息。
  多头部结构（Multi-Head Structure）：sLSTM可以具有多个头部，每个头部都有自己的记忆混合，但头部之间没有跨头的记忆混合。这种设计为sLSTM提供了一种新的记忆混合方式。

3. mLSTM结构

提高LSTM的存储容量，我们将LSTM的存储单元从标量 c ∈ R c∈R c∈R 增加到矩阵 c ∈ R d × d c∈R^{d×d} c∈Rd×d.
并使用类似于Tranformer注意力机制的q，k，v对 c c c 进行更新
在这里插入图片描述
其整体结构如下所示：

在这里插入图片描述
特点：
  并行化（Parallelization）：与sLSTM不同，mLSTM的设计允许完全的并行化处理，因为它放弃了隐藏层之间的循环连接（memory mixing）。
  协方差更新规则（Covariance Update Rule）：mLSTM使用协方差更新规则来存储和检索信息。这种规则通过将键（key）和值（value）对存储为矩阵的行或列来实现，从而提高了检索的分离度和信号/噪声比。
  多头部和多单元结构：mLSTM可以扩展为多个头部和多个单元，其中多个头部和多个单元在mLSTM中是等效的，因为它没有跨头部的记忆混合。

4. xLSTM结构

  xLSTM 使用了残差堆叠架构，将 sLSTM 和 mLSTM 集成到残差块（residual block）中，通过残差堆叠形成更复杂的架构。

在这里插入图片描述

一、xLSTMTime模型

网络结构

在这里插入图片描述

二、xLSTM-Mixer

网络结构

xLSTM-Mixer架构包括三个阶段：
(1) 假设信道独立，并执行时间混合的初始 NLinear 预测；
(2) 后续联合混合（Joint Mixing），通过两个不同角度（包括Reverse View）的 sLSTM块 的混合变量和时间信息；
(3) 最终视图混合，将两个潜在的预测结果混合，得到最终预测。
在这里插入图片描述

实验结果

长时间序列预测

对4种不同预测长度{96、192、336、720}的结果求平均值
在这里插入图片描述

总结

参考

论文：
XLSTM:Extended Long Short-Term Memory
xLSTMTime : Long-term Time Series Forecasting With xLSTM

博客：
xLSTM-----含完整代码
xLSTM: Extended Long Short-Term Memory

xLSTM: 扩展长短期记忆网络
步子哥的博客
07-06 1942
那么,如果我们将LSTM扩展到数十亿参数的规模,并克服其已知的局限性,它在语言建模方面能达到怎样的性能呢?随着深度学习领域的不断发展,xLSTM为我们提供了一个新的视角,展示了如何通过创新性的改进来增强经典模型的能力。具有后上投影的残差块(类似Transformer):在原始空间中非线性总结过去,然后线性映射到高维空间,应用非线性激活函数,最后线性映射回原始空间。其中,φ和σ分别是单元输入和门控的激活函数。这些实验结果证明,xLSTM成功地克服了传统LSTM的限制,同时保持了其在处理长序列数据方面的优势。
xLSTM: Extended Long Short-Term Memory
北风吹过的秋
06-02 2181
图8在展示了不同语言模型在不同模型大小下的验证集困惑度（Perplexity）与参数数量的关系，这是对模型缩放行为（Scaling Laws）的分析。图中比较了几种xLSTM变体，包括只有sLSTM的架构（xLSTM[0:1]），只有mLSTM的架构（xLSTM[1:0]），以及两者结合的架构（xLSTM[1:1]）。表3展示了不同语言模型在SlimPajama数据集上的性能比较，特别是在不同模型大小下的验证集困惑度（Perplexity）和下游任务（Downstream Tasks）的性能。
xLSTM的核心思想，算法实现和代码实现，与LSTM的不同，为什么xLSTM更加适合大语言模型
最新发布
qq_35722520的博客
05-09 780
xLSTM（Extended LSTM）是LSTM的扩展版本，旨在解决传统LSTM在长序列建模、梯度传播、并行计算等方面的局限性，使其更适合大规模语言模型（LLM）的需求。• LSTM的记忆单元是标量，xLSTM的mLSTM扩展为矩阵，支持并行处理（类似Transformer的KV Cache）。• xLSTM改用指数激活函数，增强门控动态性，并通过归一化（如LayerNorm）稳定训练。• xLSTM 通过指数门控、矩阵记忆和残差连接，解决了LSTM的并行性、记忆容量和梯度问题。矩阵记忆（mLSTM）
xLSTM
yanhuo23的博客
05-14 5980
xLSTM——新型递归神经网络架构，旨在解决传统LSTM的局限性，并提高其在语言建模等任务中的性能。
xLSTM-----含完整代码
wdid945的博客
10-18 6508
xLSTM是近期比较热门的模型，其是基于LSTM的改进模型，主要改进点体现在指数门控、记忆结构、并行化能力以及残差堆叠架构上。主要阵地在公众号，会优先更新公众号，欢迎通过下面二维码扫码关注。
【Python时序预测系列】高创新模型：基于xlstm模型实现单变量时间序列预测（案例+源码）
数据杂坛
09-05 892
高创新模型：基于xlstm模型实现单变量时间序列预测（案例+源码）
xLSTM-Mixer: 混合多变量时间序列预测
m0_59235699的博客
11-10 1417
本文提出了一种名为xLSTM-Mixer的新型多变量时间序列预测模型，该模型结合了线性预测和xLSTM模块，通过时间、联合和视图混合来捕捉复杂的时间依赖关系和变量间关系。
xLSTM —— LSTM 焕发新生的创新之作（附代码）
爱猫的小学森
11-05 2911
xLSTM 是对传统 LSTM 模型的一个重要扩展，结合了指数门控、矩阵记忆和残差堆叠架构，使得其在长序列建模方面具有显著的优势。xLSTM 的出现，不仅让 LSTM 在与 Transformer 等模型的竞争中焕发新生，也为未来的 AI 应用提供了新的思路。随着模型规模的进一步扩展，xLSTM 有望在自然语言处理、时间序列分析等领域发挥更大的作用，为深度学习技术的进步贡献力量。
xLSTM：扩展长短期记忆网络的深度学习创新
gitblog_01250的博客
10-18 544
xLSTM：扩展长短期记忆网络的深度学习创新 xlstm Official repository of the xLSTM. 项目地址: https://gitcode.com/gh_mirrors/xl/xlstm ...
xLSTM——解析扩展长短期记忆的网络算法与应用
知来者逆的博客
05-21 3774
二十多年来，创举架构在许多深度学习突破和实际应用中发挥了重要作用。从生成自然语言到为语音识别系统提供动力，LSTM 一直是人工智能革命背后的驱动力。然而，即使是 LSTM 的创建者也认识到它们固有的局限性，导致它们无法充分发挥潜力。无法修改存储的信息、内存容量有限以及缺乏并行化等缺点为 Transformer 和其他模型的兴起铺平了道路，以超越 LSTM 来完成更复杂的语言任务。但在最近的一项进展中，Hochreiter 和他的团队引入了一个新的变体，称为解决这些长期存在的问题。
xLSTM: 扩展长短期记忆网络的革新性突破
Nifc666的博客
10-12 1220
xLSTM的出现为深度学习领域带来了新的活力和可能性。它不仅延续了LSTM的优秀传统,还通过创新设计克服了传统LSTM的局限性。随着更多研究和应用的开展,xLSTM有望在人工智能的多个领域发挥重要作用,为我们解决复杂的序列建模问题提供强大工具。无论是研究人员还是实践者,都应该密切关注xLSTM的发展。它可能成为连接过去和未来的重要桥梁,推动人工智能技术向更高水平迈进。在这个快速发展的领域,保持开放和创新的态度至关重要,xLSTM的故事告诉我们,即使是经典模型,也总有被重新发现和改进的可能。
LSTM一作新作xLSTM架构：大幅领先Transformer和状态空间模型（SSM）
zenRRan的博客
05-09 5928
这篇论文介绍了一种名为xLSTM（Extended Long Short-Term Memory）的新型递归神经网络架构，旨在解决传统LSTM（Long Short-Term Memory）网络的一些局限性，并提高其在语言建模等任务中的性能。论文：xLSTM: Extended Long Short-Term Memory链接：https://arxiv.org/pdf/2405.04517下面是...
xLSTM代码
Elanysus的博客
09-07 1079
官方没给代码，但是还是有非官方大佬实现了xlstm，不过我找到的代码似乎都是同一套，并且没有空格分隔，不能直接复制使用。因此我用ai调整了一下代码格式，可以直接复制使用。
xLSTMTime解析
w1191474296的博客
09-26 1122
这篇论文标题为《xLSTMTime: Long-term Time Series Forecasting With xLSTM》，介绍了一种称为xLSTMTime的时间序列预测模型。该模型基于xLSTM（扩展长短期记忆模型），并且专为长时序预测（LTSF）任务设计。研究发现，虽然基于Transformer的模型在许多领域取得了成功，但它们在捕获时间动态和长时依赖性上存在挑战，同时计算复杂度较高。与此相反，论文提出的xLSTMTime。
Vision-LSTM: xLSTM 作为通用视觉主干
m0_47867638的博客
06-10 1443
尽管Transformer最初是为自然语言处理引入的，但它现在已经被广泛用作计算机视觉中的通用主干结构。最近，长短期记忆（LSTM）已被扩展为一种可扩展且性能优越的架构——xLSTM，它通过指数门控和可并行化的矩阵内存结构克服了LSTM长期以来存在的限制。在本报告中，我们介绍了Vision-LSTM（ViL），它是将xLSTM构建块应用于计算机视觉的一种适配。ViL由一系列xLSTM块组成，其中奇数块从上到下处理补丁标记的序列，而偶数块则从下到上处理。
探索未来语言模型的新方向：xLSTM
gitblog_00037的博客
06-19 450
探索未来语言模型的新方向：xLSTM xlstmOfficial repository of the xLSTM.项目地址:https://gitcode.com/gh_mirrors/xl/xlstm 在深度学习的广阔领域中，长短期记忆网络（LSTM）以其强大的序列处理能力和长期依赖捕获机制而闻名。然而，随着时间的推移，研究者们不断寻求超越传统的路径，旨在解决LSTM存在的固有限制，并探索更高...
程序员学长 | 快速学会一个算法，xLSTM
csdn_xmj的博客
07-07 1389
今天给大家分享一个超强的算法模型，，xLSTM。 xLSTM（Extended Long Short-Term）是对传统 LSTM（Long Short-Term Memory）模型的扩展和改进，旨在提升其在处理时间序列数据和序列预测任务中的性能。传统的 LSTM 模型通过引入遗忘门、输入门和输出门，解决了标准 RNN（Recurrent Neural Network）在长序列数据中存在的梯度消失和梯度爆炸问题。然而，LSTM 仍然存在一些局限性，尤其是在处理非常长的序列或需要更高维度特征提取时。
xLSTM模型学习笔记
ghost_him的博客
09-11 1794
首先，LSTM 被设计为解决 RNN 中的梯度消失和爆炸问题，通过门控机制实现时序上的注意力控制。然后，sLSTM 通过改进激活函数和引入额外状态来增强模型的记忆和选择能力。接着，mLSTM 通过矩阵化记忆单元和引入键值对机制提升了长序列处理效率和并行能力。最后，xLSTM 结合sLSTM和mLSTM的优势，通过非线性变换和高维空间映射提高模型表现，并在大模型设计中提供更高的效率和适应性。
xLSTM-UNet来了！把Mamba换成xLSTM，可提升医学图像分割性能！
阿木寺的博客
07-06 1792
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和医学影像】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！“仅仅将U-Mamba中的Mamba换成xLSTM，就能带来突出的性能提升，代码和模型均已开...
xlstm时间序列预测python
12-20
XLSTM，全称为eXtended Long Short-Term Memory，是一种改进版的长短期记忆网络（LSTM），它在传统LSTM的基础上增加了稀疏连接（Sparse Connections）和注意力机制（Attention Mechanisms）。这种模型特别适合处理时间序列数据的预测，尤其是当数据存在长期依赖性和复杂模式时。 在Python中，你可以使用深度学习库Keras或PyTorch来实现XLSTM。以下是一个简单的步骤指南： 1. **安装所需库**： - `pip install keras` 或 `pip install tensorflow>=2.0` - 可选安装`pyyaml`、`h5py`等辅助库 2. **导入必要的模块**： ```python import numpy as np from keras.models import Sequential from keras.layers import LSTM, Dense, Attention, SpatialDropout1D ``` 3. **定义XLSTM模型**： ```python def build_xlstm_model(input_shape, output_size): model = Sequential() model.add(LSTM(units=64, return_sequences=True, input_shape=input_shape)) model.add(SpatialDropout1D(0.2)) # 添加空间dropout防止过拟合 model.add(Attention()) # 添加注意力层 model.add(LSTM(units=32, return_sequences=False)) model.add(Dense(output_size, activation='linear')) # 输出层 return model ``` 4. **编译模型**： ```python model.compile(optimizer='adam', loss='mse') # 使用均方误差作为损失函数 ``` 5. **训练模型**： ```python # 准备训练数据 train_data, train_labels = ... model.fit(train_data, train_labels, epochs=50, batch_size=32) ``` 6. **进行预测**： ```python test_data = ... # 测试数据 predictions = model.predict(test_data) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值