The What, Why, and How of Context Length Extension Techniques in Large Language Models-优快云博客

本文是LLM系列文章，针对《The What, Why, and How of Context Length Extension Techniques in Large Language Models – A Detailed Survey》的翻译。

大型语言模型中上下文长度扩展技术的内容、原因和方式——一项详细的调查

摘要
1 引言
2 当前技术
3 位置技术
4 外推
5 插值
6 结论
7 讨论

摘要

大型语言模型（LLM）的出现代表了自然语言处理（NLP）的一个显著突破，有助于在文本理解和生成方面取得实质性进展。然而，在这些进步中，值得注意的是，LLM在上下文长度外推方面经常面临限制。理解和扩展LLM的上下文长度对于提高其在各种NLP应用程序中的性能至关重要。在这篇调查论文中，我们深入探讨了为什么它是必不可少的多方面问题，以及高级技术可能给NLP应用带来的潜在转变。我们研究了与延长上下文长度相关的固有挑战，并对研究人员使用的现有策略进行了有组织的概述。此外，我们还讨论了评估上下文扩展技术的复杂性，并强调了研究人员在该领域面临的公开挑战。此外，我们还探讨了研究界是否就评估标准达成共识，并确定了需要进一步达成一致的领域。这项全面的调查旨在为研究人员提供宝贵的资源，指导他们了解上下文长度扩展技术的细微差别，并促进对这一不断发展的领域未来进展的讨论。

1 引言

“对我来说，尚习文是关键——由此产生对一切的理解”——肯尼斯·诺兰
大型语言模型（LLM）的成功故事无处不在，现代LLM的出现大大推动了许多自然语言处理（NLP）挑战，并达到了前所未有的高度。科学努力的自然进程是向具有挑战性的新视野迈进。在这些雄心勃勃的举措中，一项值得注意的努力是扩展LLM可理解性以涵盖很长的上下文。OpenAI引入了128页上下文可理解性的概念，而Anthropic最近提出了超过200页的更长上下文。然而，这些商业发布和公告明显缺乏科学严谨性。在这方面出现了几个问题：（a）哪些应用程序需要理解这种扩展的上下文？（b）当LLM理解更长的上下文时，我们如何有效地衡量应用程序性能的提高？（c）虽然注意力机制在NLP中得到了很好的研究，但是否有必