10、大语言模型提示工程：优化推理与响应的策略

大语言模型提示工程：优化推理与响应的策略

1. 上下文学习（In-context learning，ICL）

上下文学习是指大语言模型（LLMs）在仅接触少量示例后，无需针对特定任务进行专门训练，就能学会执行该任务的现象。这一能力源于大型模型内部包含较小、较简单的线性模型，这些线性模型可以利用大型模型中已封装的信息进行训练，以应对新任务。本质上，ICL 是大语言模型的一种涌现行为，模型只需根据输入 - 输出示例进行条件设定，无需优化任何参数即可执行任务。

1.1 核心原则

上下文学习的核心原则是“类比学习”。它需要一些示例来形成演示上下文，通常以自然语言模板呈现。这些示例在模型执行当前任务时为其决策提供指导。例如，在之前探讨的最后一个奇数示例中，上下文学习的有效性在很大程度上依赖于用于形成此上下文的所选示例的质量。

1.2 应用优势

这种学习形式对知识密集型自然语言处理（NLP）任务特别有益，并且被认为是大语言模型成功的重要因素之一。此外，人们还探索了大语言模型中上下文学习能力的递归改进，这表明上下文学习具有元学习的一面。由于大语言模型在大量数据集上进行训练，这些数据集可能包含它们在推理过程中可能遇到的类似示例或场景，因此上下文学习被视为一种有前途的方法，尤其是对于大语言模型而言。这使得它们能够根据推理时提供的少量输入 - 输出示例执行各种任务。

1.3 面临挑战与解决方法

大语言模型常面临上下文窗口限制的问题，为此人们正在努力克服这一限制，例如引入并行上下文窗口（PCWs）来增强上下文学习能力。

2. 提供上下文

在提示中提供上下文就像是为大语