A Survey on In-context Learning

这是LLM系列相关综述文章的第二篇，针对《A Survey on In-context Learning》的翻译。

摘要

随着大型语言模型（LLM）能力的增强，上下文学习（ICL）已成为自然语言处理（NLP）的一种新范式，其中LLM仅基于通过几个例子增强的上下文进行预测。探索ICL来评估和推断LLM的能力已经成为一种新的趋势。在本文中，我们旨在调查和总结ICL的进展和挑战。我们首先给出了ICL的正式定义，并阐明了其与相关研究的相关性。然后，我们对先进技术进行了组织和讨论，包括训练策略、演示设计策略以及相关分析。最后，我们讨论了ICL面临的挑战，并为进一步的研究提供了潜在的方向。我们希望我们的工作能够鼓励更多关于揭示ICL如何工作和改进ICL的研究。

1 引言

随着模型大小和语料库大小的缩放，大型语言模型（LLM）展示了上下文学习（ICL）能力，即从上下文中的几个例子中学习。许多研究表明，LLM可以通过ICL执行一系列复杂的任务，例如解决数学推理问题。这些强大的能力已被广泛验证为大型语言模型的新兴能力。
语境学习的核心思想是从类比中学习。图1给出了一个示例，描述了语言模型如何使用ICL进行决策。首先，ICL需要几个例子来形成一个演示上下文。这些例子通常是用自然语言模板编写的。然后，ICL将一个查询问题和一段演示上下文连接在一起形成提示，然后将其输入到语言模型中进行预测。与需要使用后向梯度更新模型参数的训练阶段的监督学习不同，ICL不进行参数更新，而是直接对预训练的语言模型进行预测。该模型被期望学习隐藏在演示中的模式，并相应地