Efficient Attention Mechanisms for Large Language Models: A Survey

文章主要内容总结

本文是一篇关于大型语言模型（LLMs）中高效注意力机制的综述，核心围绕Transformer架构中自注意力机制的二次时间和内存复杂度问题展开，系统梳理了两类主流高效注意力机制的研究进展，并探讨了其在预训练模型中的应用。

1. 核心问题：传统自注意力机制随输入序列长度增长呈现二次复杂度，限制了长上下文建模的效率和可扩展性。
2. 两类高效注意力机制：
   • 线性注意力（Linear Attention）：通过核近似、循环公式或快速权重动态等方式将复杂度降至线性，包括核化线性注意力（如Performer）、带遗忘机制的循环线性注意力（如RetNet、Mamba）、基于上下文学习的线性注意力（如DeltaNet）等，同时讨论了其硬件实现（并行、循环、分块表示）。
   • 稀疏注意力（Sparse Attention）：将注意力计算限制在选定的token子集上，包括固定模式稀疏注意力（如滑动窗口）、块稀疏注意力（如按块路由或聚类）、聚类注意力（如基于k-means或LSH的语义分组），并分析了双向稀疏设计。
3. 预训练模型中的应用：分为纯高效架构（如EAGLE、Falcon Mamba）和混合架构（如GPT-3、Jamba），后者结合局部与全局注意力以平衡效率和性能。
4. 未来方向：包括混合模型的架构理解、无损稀疏注意力的研发、稀疏与混合注意力的机制性洞察等。
<