YaRN: Efficient Context Window Extension of Large Language Models

本文是LLM系列文章，针对《YaRN: Efficient Context Window Extension of Large Language Models》的翻译。

摘要

旋转位置嵌入（RoPE）已被证明可以在基于Transformer的语言模型中有效地编码位置信息。然而，这些模型无法推广到它们所训练的序列长度。我们提出了YaRN（另一种RoPE扩展方法），这是一种扩展此类模型上下文窗口的计算效率高的方法，与以前的方法相比，需要减少10倍的token和2.5倍的训练步骤。使用YaRN，我们表明LLaMA模型可以有效地利用和外推到比其原始预训练所允许的更长的上下文长度，同时也超过了以前最先进的上下文窗口扩展。此外，我们证明了YaRN表现出超越微调数据集的有限上下文进行推断的能力。我们将Llama 2 7B/13B的检查点发布在https://github.com/jquesnelle/yarn.