LSTM 升级了？ xLSTM 来挑战现状了

LSTM 升级了？ xLSTM 来挑战现状了

多年来，一种名为长短期记忆（LSTM）的神经网络一直是处理文本等序列数据的主要模型。LSTM 早在 20 世纪 90 年代就已问世，它善于记忆长程模式，避免了早期递归网络所面临的 “梯度消失” 技术问题。这使得 LSTM 在语言建模、文本生成、语音识别等所有语言任务中都具有难以置信的价值。在相当长的一段时间里，LSTM 看起来势不可挡。

但在 2017 年，一种新的神经网络架构颠覆了这一局面。这些模型被称为 “Transformer”，能以极大的并行化方式处理数据，效率远远超过 LSTM，尤其是在大规模数据集上。Transformer 掀起了一场革命，迅速成为处理序列的最先进的新方法，取代了长期占主导地位的 LSTM。它标志着构建人工智能系统以理解和生成自然语言的一个重要转折点。

LSTM 简史

LSTM 旨在通过引入遗忘门、输入门和输出门等机制来克服早期循环神经网络 (RNN) 的局限性，共同帮助维持网络中的长期记忆。这些机制使 LSTM 能够了解序列中哪些数据需要保留或丢弃，从而使它们能够根据长期依赖性做出预测。尽管取得了成功，但 LSTM 开始被 Transformer 模型的崛起所掩盖，Transformer 模型在许多任务上提供了更高的可扩展性和性能，特别是在处理大型数据集和长序列方面。