xLSTM: Extended Long Short-Term Memory

更多内容，请关注微信公众号：NLP分享汇

原文链接：xLSTM: Extended Long Short-Term Memory

---

论文链接：https://arxiv.org/pdf/2405.04517

为什么要在27年后提出新的LSTM呢？

LSTM（长短期记忆网络）自20世纪90年代引入以来，在深度学习领域取得了巨大成功。然而，随着Transformer技术的出现，LSTM在规模化应用中的性能开始落后。

【感兴趣的小伙伴可以去读读之前写的这篇文章】

LSTM介绍

NLP分享汇，公众号：NLP分享汇长短期记忆网络 Long Short-Term Memory

所以，文章提出了一个问题：如果将LSTM扩展到数十亿参数规模，并利用LLMs的最新技术，同时解决LSTM的已知限制，那么在语言建模方面LSTM能走多远？

为了解决LSTM的限制，作者介绍了xLSTM，它通过以下两种主要改进来增强LSTM的能力

• 指数门控（exponential gating）引入了适当的归一化和稳定技术，改进了LSTM的门控机制

• 记忆结构修改（LSTM memory structure）对LSTM的记忆结构进行了修改，引入了两种新的记忆单元

  • sLSTM：具有标量记忆、标量更新和新的记忆混合技术。

  • mLSTM：具有矩阵记忆和协方差更新规则，能够完全并行化。

随后通过将这些LSTM扩展集成到残差块中，形成了xLSTM块，然后将这些块残差堆叠形成xLSTM架构。通过引入指数门控和修改记忆结构，xLSTM在性能和规模化方面能够与最先进的Transformer和状态空间模型相媲美。

一张图了解前世今生（xLSTM Family）

图1 xLSTM 家族

图1左侧展示了传统的LSTM记忆单元，包括恒等误差旋转（Constant Error Carousel）和门控（Gating）机制。这些是LSTM的核心组成部分，用于处理和存储信息。在原始LSTM的基础上，引入了两种新的记忆单元sLSTM和mLSTM。然后将sLSTM和mLSTM记忆单元整合到残差块（Residual Blocks）中，形成了xLSTM Blocks。这些块是xLSTM架构的基本构建单元。最后通过残差堆叠（Residual Stacking）这些xLSTM块，形成了完整的xLSTM架构。这种架构设计用于处理长序列数据，并且能够扩展到数十亿参数规模。

记忆单元的特点：

• 恒等误差旋转：表示LSTM中细胞状态的更新方式，通过输入和遗忘门控制。

• Sigmoid门控：用于控制LSTM中信息的流动，包括输入、遗忘和输出门。

• 循环推断：指的是LSTM在推断阶段的循环计算过程。

• 循环训练：指的是LSTM在训练阶段的循环计算过程。

LSTM的局限性以及xLSTM是如何克服这些限制

图2 三方较量图

图2左侧比较的是最近邻搜索问题（Nearest Neighbor Search problem）。LSTM在处理最近邻搜索问题时的局限性。这个问题要求模型在给定一个参考向量的情况下，顺序扫描序列以找到最相似的向量，并在序列末尾返回其附加值。均方误差（Mean Squared Error, MSE）&#