LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132620193

本文研究了大型语言模型（LLM）在长序列处理中的长度泛化问题，提出了一种名为LM Infinite的方法。该方法通过Λ形注意力掩码和距离限制，无需参数更新即可实现有效长度泛化，提高生成质量和解码速度。在ArXiv和OpenWebText2数据集上，LM Infinite能处理长达32k个token的序列，适用于多种LLM。

本文是LLM系列文章，针对《LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS》的翻译。

摘要

近年来，基于Transformer的大型语言模型（LLM）在各个领域的性能都有了显著的进步。随着这些LLM被部署用于越来越复杂的任务，它们通常需要进行更长的推理过程或理解更大的上下文。在这些情况下，LLM在长序列上的长度泛化失败变得更加突出。大多数预训练方案将训练序列截断为固定长度（例如对于LLaMa为2048）。LLM通常很难在较长的上下文后生成流畅的文本，更不用说执行下游任务了，即使是为了解决这个问题而设计的相对位置编码。常见的解决方案，如在较长的语料库上进行微调，通常涉及令人生畏的硬件和时间成本，并且需要仔细的训练过程设计。为了更有效地利用现有LLM的生成能力，我们从理论和实证上研究了导致这一问题的主要分布外（OOD）因素。受此诊断的启发，我们提出了一种简单而有效的飞行长度泛化解决方案LM Infinite，它只涉及 $\Lambda$ 形注意力掩码和距离限制，而不需要参数更新或学习。我们发现它适用于使用相对位置编码方法的各种LLM。LM Infinite在 $\m$