xLSTM: Extended Long Short-Term Memory

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量328 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM context 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/141505175

本文是LLM系列文章，针对《xLSTM: Extended Long Short-Term Memory》的翻译。

xLSTM：扩展的长短期记忆

摘要

在20世纪90年代，恒定误差转盘和门控被引入作为长短期记忆（LSTM）的核心思想。从那时起，LSTM经受住了时间的考验，并为众多深度学习成功案例做出了贡献，特别是它们构成了第一个大型语言模型（LLMs）。然而，以并行化自我关注为核心的Transformer技术的出现标志着一个新时代的到来，在规模上超过了LSTM。我们现在提出一个简单的问题：当利用现代LLM的最新技术，将LSTM扩展到数十亿个参数，同时减轻LSTM的已知局限性时，我们在语言建模方面能走多远？首先，我们介绍了具有适当归一化和稳定技术的指数门控。其次，我们修改了LSTM存储器结构，得到：（i）具有标量存储器、标量更新和新存储器混合的sLSTM，（ii）具有矩阵存储器和协方差更新规则的完全并行的mLSTM。将这些LSTM扩展集成到残差块主干中会产生xLSTM块，然后将其残差堆叠到xLSTM架构中。与最先进的Transformer和状态空间模型相比，指数门控和修改后的存储结构提高了xLSTM的性能，在性能和扩展方面都表现良好。

1 引言

2 扩展的长短期记忆

3 相关工作

4 实验

5 局限性

6 结论

我们已经部分回答了我们的简单问题：当将LSTM扩展到数十亿个参数时，我们在语言建模方面能走多远？到目前为止，我们可以回答：“至少就Transformer或状态空间模型等当前技术而言”。我们通过指数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文阅读】xLSTM: Extended Long Short-Term Memory
kanon的博客
05-21 2848
论文提出了xLSTM，一种扩展的长短期记忆网络，旨在解决传统LSTM的局限性，并在大规模参数下进行语言建模。xLSTM引入了指数门控和适当的归一化与稳定技术，修改了LSTM记忆结构，包括标量记忆的sLSTM和完全可并行化的具有矩阵记忆和协方差更新规则的mLSTM。通过将这些LSTM变体集成到残差块中，构建了xLSTM架构，这些架构在性能和扩展性方面与最先进的Transformers和状态空间模型相媲美。
LSTM一作新作xLSTM架构：大幅领先Transformer和状态空间模型（SSM）
zenRRan的博客
05-09 6611
这篇论文介绍了一种名为xLSTM（Extended Long Short-Term Memory）的新型递归神经网络架构，旨在解决传统LSTM（Long Short-Term Memory）网络的一些局限性，并提高其在语言建模等任务中的性能。论文：xLSTM: Extended Long Short-Term Memory链接：https://arxiv.org/pdf/2405.04517下面是...
xLSTM：扩展长短期记忆网络的综合指南
数智笔记
05-18 1万+
二十多年来， Sepp Hochreiter 开创性的 长短期记忆 (LSTM) 架构在众多深度学习的突破和实际应用中起到了重要作用。从生成自然语言到支持语音识别系统，LSTM 一直是推动 AI 革命的核心力量。然而，即使是 LSTM 的创造者也认可其无法充分发挥全部潜力的固有局限性。这些局限性包括无法修正存储的信息、有限的存储能力以及缺乏并行处理功能，这些因素为变压器模型及其他模型的崛起铺平了道路，使其在更复杂的语言任务中超越了 LSTM。
（2024，LSTM，Transformer，指数门控，归一化器状态，多头内存混合）xLSTM：扩展的 LSTM
qq_44681809的博客
05-08 3062
xLSTM 引入指数门控，并修改 LSTM 的内存结构来扩展LSTM。sLSTM带有标量内存、标量更新和新的内存混合。完全可并行化的 mLSTM，具有矩阵内存和协方差更新规则（类似于Transformer的QKV）。
xLSTM——解析扩展长短期记忆的网络算法与应用
知来者逆的博客
05-21 4020
二十多年来，创举架构在许多深度学习突破和实际应用中发挥了重要作用。从生成自然语言到为语音识别系统提供动力，LSTM 一直是人工智能革命背后的驱动力。然而，即使是 LSTM 的创建者也认识到它们固有的局限性，导致它们无法充分发挥潜力。无法修改存储的信息、内存容量有限以及缺乏并行化等缺点为 Transformer 和其他模型的兴起铺平了道路，以超越 LSTM 来完成更复杂的语言任务。但在最近的一项进展中，Hochreiter 和他的团队引入了一个新的变体，称为解决这些长期存在的问题。
Extended Long Short-Term Memory.pdf
03-05
研究人员将这些xLSTM扩展集成到残差块（residual blocks）中，形成了xLSTM块，这些块随后通过残差堆叠方式构建成完整的xLSTM架构。通过指数门控和修改后的存储结构，xLSTM相较于最新的Transformer和状态空间模型，在...
xLSTM：拳打Transformer，脚踢Mamba？！
鲁班模锤
05-10 2359
​记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。在Transformers、Mamba、KAN之后，长短期记忆 (LSTM) 架构的发明者Sepp Hochreiter和他在NXAI的团队推出了一种称为扩展LSTM (xLSTM) 的新变体。
【LSTM（Long short-term memory） 长短期记忆 全解手册（一）原理】
qq_49183286的博客
11-15 1495
LSTM原理详解
LSTM再升级！原作者携xLSTM回归，扩展LSTM到数十亿参数
强化学习曾小健
08-20 1454
xLSTM 通过引入指数门控和矩阵内存结构，显著提升了 LSTM 的存储容量和并行计算能力，为大型语言模型和深度学习领域提供了一种强大的新型序列处理工具，具有推动自然语言处理和序列预测任务发展的学术意义。虽然 xLSTM 在多个方面表现出色，但仍存在一些局限性，主要涉及计算效率、内存容量、实现优化和泛化能力等方面。尽管存在这些挑战，xLSTM 在语言建模和其他序列建模任务上展现出的潜力表明，通过进一步的研究和开发，这些局限性有可能被克服或减轻。
详细解释xLSTM以及和初始LSTM的不同
强化学习曾小健
11-18 1354
xLSTM通过引入新的门控机制、增强的记忆结构和残差块集成，克服了传统LSTM的一些局限性，特别是在处理大规模数据和长序列时。它不仅提升了模型的性能，还提高了计算效率，使其在现代深度学习应用中更具竞争力。xLSTM在语言建模等任务中表现出色，有潜力成为强化学习、时间序列预测等领域的重要工具。
Long-Short Term Memory(长短时记忆模型)
热门推荐
xiaoniu0991的博客
07-14 1万+
长短期记忆（Long-Short Term Memory, LSTM）是一种时间递归神经网络(RNN)，论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。        LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别
程序员学长 | 快速学会一个算法，xLSTM
csdn_xmj的博客
07-07 1468
今天给大家分享一个超强的算法模型，，xLSTM。 xLSTM（Extended Long Short-Term）是对传统 LSTM（Long Short-Term Memory）模型的扩展和改进，旨在提升其在处理时间序列数据和序列预测任务中的性能。传统的 LSTM 模型通过引入遗忘门、输入门和输出门，解决了标准 RNN（Recurrent Neural Network）在长序列数据中存在的梯度消失和梯度爆炸问题。然而，LSTM 仍然存在一些局限性，尤其是在处理非常长的序列或需要更高维度特征提取时。
xLSTM: 扩展长短期记忆网络的革新性突破
Nifc666的博客
10-12 1333
xLSTM的出现为深度学习领域带来了新的活力和可能性。它不仅延续了LSTM的优秀传统,还通过创新设计克服了传统LSTM的局限性。随着更多研究和应用的开展,xLSTM有望在人工智能的多个领域发挥重要作用,为我们解决复杂的序列建模问题提供强大工具。无论是研究人员还是实践者,都应该密切关注xLSTM的发展。它可能成为连接过去和未来的重要桥梁,推动人工智能技术向更高水平迈进。在这个快速发展的领域,保持开放和创新的态度至关重要,xLSTM的故事告诉我们,即使是经典模型,也总有被重新发现和改进的可能。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 229
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 406
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 284
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 406
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 398
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
智能体中Long Memory与Short-Term Memory怎么理解
06-27
### 区别与作用 在人工智能中，尤其是在涉及智能体（Agent）的场景下，**长时记忆（Long Memory）**和**短时记忆（Short-Term Memory）**是两个关键概念，它们分别对应智能体对信息的长期存储与短期处理能力。 #### 短时记忆（Short-Term Memory） 短时记忆类似于人类的认知功能，用于临时存储和处理当前任务所需的信息。对于智能体来说，短时记忆通常用于保存最近的经验或输入数据，以便快速响应当前环境状态。这种记忆的特点是容量有限且持续时间较短。例如，在传统的循环神经网络（RNN）中，隐层的输出可以被视为一种短时记忆，因为它仅保留了当前时刻的计算结果，而无法长时间保持之前的信息[^3]。 为了克服这一限制，LSTM（Long Short-Term Memory）引入了门控机制，包括输入门、遗忘门和输出门。这些机制允许模型选择性地保留或丢弃信息，从而延长了记忆的时间跨度[^1]。尽管如此，LSTM的设计初衷仍然是为了解决序列数据中的短期依赖问题，因此其核心功能依然偏向于短时记忆的优化。 #### 长时记忆（Long Memory） 长时记忆则专注于持久存储智能体的知识和经验，以便在未来的任务中使用。这种记忆形式通常通过更复杂的架构实现，例如外部记忆模块（External Memory）或者知识库（Knowledge Base）。长时记忆的特点是容量大且持续时间长，能够支持智能体进行跨任务的学习和推理。 在xLSTM（Extended Long Short-Term Memory）中，模型进一步扩展了LSTM的功能，旨在提升对长期依赖关系的建模能力。通过引入额外的机制，xLSTM能够在更长的时间范围内保持信息，并增强对复杂模式的捕捉能力[^2]。 #### 应用场景 - **短时记忆**适用于需要即时反应的任务，例如实时决策、语音识别等。 - **长时记忆**则更适合需要长期规划和知识积累的任务，例如自然语言理解、多轮对话系统等。 ### 代码示例 以下是一个简单的LSTM模型实现，展示了如何利用门控机制处理短时记忆： ```python import torch import torch.nn as nn class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_size, hidden_size) self.linear = nn.Linear(hidden_size, output_size) def forward(self, x, hidden): out, hidden = self.lstm(x, hidden) out = self.linear(out) return out, hidden # 示例参数 input_size = 10 hidden_size = 20 output_size = 5 model = LSTMModel(input_size, hidden_size, output_size) ``` ### 相关问题 1. 如何在深度学习中实现智能体的长时记忆？ 2. xLSTM相比传统LSTM有哪些改进？ 3. 短时记忆在强化学习中的具体应用场景是什么？ 4. 长时记忆和知识图谱之间有何关联？ 5. 智能体如何平衡长时记忆与短时记忆的使用？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值