LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens

本文是LLM系列文章，针对《LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens》的翻译。

摘要

在大型语言模型（LLM）中，大上下文窗口是一个理想的特性。然而，由于高微调成本、长文本的稀缺性以及新token位置带来的灾难性价值，当前的扩展上下文窗口被限制在128k个token左右。
本文介绍了LongRoPE，它首次将预训练LLM的上下文窗口扩展到令人印象深刻的2048k个token，在256k的训练长度内只需1k个微调步骤，同时保持原始短上下文窗口的性能。这是通过三个关键创新实现的：（i）我们通过有效的搜索识别和利用位置插值中的两种形式的不一致性，为微调提供更好的初始化，并在非微调场景中实现8倍的扩展；（ii）我们引入了一种渐进扩展策略，该策略首先对256k长度的LLM进行微调，然后对微调后的扩展LLM进行第二次位置插值，以实现2048k上下文窗口；（iii）我们在8k长度上重新调整LongRoPE以恢复短上下文窗口性能。在各种任务中对LLaMA2和Mistral进行的大量实验证明了我们方法的有效性。通过LongRoPE扩展的模型保留了原始架构，对位置嵌入进行了轻微修改，并且可以重用大多数预先存在的优化。代码将在https://github.com/microsoft/LongRoPE上可用。

1 引言

2 位置插值中的非均匀性

3 LongRoPE

4 实验

5 相关工作