Beyond the Limits: A Survey of Techniques to Extend the Context Length in Large Language Models

本文是LLM系列文章，针对《Beyond the Limits: A Survey of Techniques to Extend the Context Length in Large Language Models》的翻译。

摘要

最近，大型语言模型（LLM）已经显示出非凡的能力，包括理解上下文、参与逻辑推理和生成响应。然而，这是以牺牲严格的计算和内存要求为代价实现的，阻碍了它们有效支持长输入序列的能力。这项调查全面回顾了最近为延长LLM中的序列长度而设计的技术和方法，从而提高了它们对长上下文理解的能力。特别是，我们回顾并分类了一系列技术，包括架构修改，如修改的位置编码和修改的注意力机制，这些技术旨在增强对较长序列的处理，同时避免计算需求的成比例增加。本研究中研究的各种方法可用于LLM的不同阶段，即训练、微调和推理。这使得LLM能够有效地处理扩展序列。最后一节讨论了当前方法的局限性，以及对未来研究方向的建议，强调了序列长度在LLM持续发展中的重要性。

1 引言

2 长度外延

3 注意力近似

4 无需注意力的Transformer

5 模型压缩

6 硬件感知的Transformer

7 结论和未来方向

在这项调查中，对有效延长LLM中序列长度的不同方法进行了系统综述。我们从工作的动机和LLM处理长序列的必要性开始。然后，我们讨论了包括架构更改的方法，如位置编码修改和注意力机制修改，旨在改进长序列处理，而不会显著增加计算成本。我们进一步深入研究了可以应用于不同阶段的方法，如训练、微调和