大语言模型提示工程综述：技巧与应用领域

大语言模型提示工程综述：技巧与应用领域
摘要
在扩展大语言模型 (LLM) 及视觉 - 语言模型 (VLM) 能力方面，提示工程已成为关键技术。它通过特定任务的指令，即提示，提升模型效能，无需更改模型核心参数。这些提示能够通过给定的指令直接引导预训练模型完成下游任务，从而实现模型行为的精确调控。这些提示既可以是指导模型的自然语言说明，也可以是激发相关知识的向量表示。提示工程作为一个新兴领域，在多种场景下展现了其强大的应用潜力，包括问答系统、常识推理等。尽管如此，这一领域的方法和技术仍缺乏系统性的整理和理解。本文通过系统性概述提示工程的最新进展，并按应用领域进行分类，旨在填补这一空白。我们对每种提示方法进行了详细总结，包括其方法论、应用案例、相关模型及数据集。同时，我们探讨了各方法的优缺点，并提供了一个包含数据集、模型及关键技术点的分类图和表格。通过这一系统性分析，我们能够更深入地理解这个快速发展的领域，并指出未来研究的方向和挑战。

图 1: 提示工程要素的视觉概述：基于海量数据训练的大语言模型，构成提示的核心元素的指令与上下文，以及用户的输入界面。
图 1: 提示工程要素的视觉概述：基于海量数据训练的大语言模型，构成提示的核心元素的指令与上下文，以及用户的输入界面。
1 引言
提示技术已成为提升预训练大语言模型（LLM）和视觉 - 语言模型（VLM）能力的关键。它通过设计特定的任务指令，即提示，来引导模型产出，无需改变其内部参数。这种技术特别在于它如何根本改变了 LLM 和 VLM 的适应能力，通过精心制定的指令微调模型产出，使它们能在各种任务和领域中表现卓越。这与以往需要重新训练或大量微调模型以适应特定任务的传统方式截然不同，提示技术正推动 AI 领域的界限，开启了充满可能性的未来。在这个不断变化的领域，持续的研究不断展现出提示技术的新方法和应用。其重要性体现在能够指导模型响应，从而提升 LLM 在不同行业中的适应性和应用性。当前的提示技术覆盖了从基础的零样本、少样本提示到更复杂的“代码链”提示等一系列技术。提示技术最初由 LLM 的研究推广，如 Liu 等人（2023 年），Tonmoy 等人（2024 年），Chen 等人（2023 年）的工作，后来又扩展到了 VLM 领域，如 Wu 等人（2023 年），Bahng 等人（2022 年）的研究。尽管 LLM 和 VLM 领域已有广泛的研究，但关于应用中心的提示技术系统概述的研究仍有所欠缺。随着提示技术的进步，迫切需要进行一项全面的调查，深入了解当下研究的应用和进展。本调查深入探讨了提示技术的最新进展，分析了 29 种不同的技术及其应用。通过系统性的审查，我们详尽地研究了这些前沿技术的应用、所用的语言模型和测试的数据集，对提示技术发展的全景进行了详细解读。同时，我们比较了这些技术的优劣，提供了它们效能的深入见解。我们还呈现了一幅全面的分类图谱，展示了这些技术如何使 LLM 在语言生成、问题回答、代码创造和推理任务等方面展现出前所未有的能力。

本次调研弥补了现有文献的空白，旨在为研究人员和从业者提供一个宝贵的资源，深入了解提示工程领域的最新进展及其发展趋势。论文的结构安排如下：第二节详细阐述了提示工程技术，从基础到高级，按照应用领域进行了划分；第三节总结全文并对未来的研究方向提出了思考。

本节介绍了在不同的树状结构中如何通过特定的配置实现信息的有序展示。配置涉及树的生长方向（向东），是否反转（是），锚点设置（基于西侧），以及其他视觉效果如矩形框、隐藏的绘制边界、圆角以及文本对齐方式等。此外，还包括了如何根据不同的层级调整文本框宽度和字体大小，以及如何通过深灰色的边缘和不同的线宽来增强视觉效果。

在“提示工程 (Prompt Engineering)”这一部分，我们探讨了如何在不需要广泛训练的情况下，通过填充特定颜色和设置文本宽度来适应新任务。这包括了使用零样本 (Zero-shot) 提示和少样本 (Few-shot) 提示的方法，分别由 Radford 等人（2019）和 Brown 等人（2020）提出。

接下来，我们讨论了“推理与逻辑 (Reasoning and Logic)”相关的技术，如连贯思考 (Chain-of-Thought, CoT) 提示，自动连贯思考 (Automatic Chain-of-Thought, Auto-CoT)，自我一致性 (Self-Consistency)，逻辑连贯思考 (Logical CoT) 提示，连贯符号 (Chain-of-Symbol, CoS) 提示，思考树 (Tree-of-Thoughts, ToT) 提示，思考图 (Graph-of-Thought, GoT) 提示，系统二注意力提示 (System 2 Attention Prompting)，思考线索 (Thread of Thought, ThoT) 提示，以及表格链提示 (Chain of Table Prompting)，由不同的研究者在 2022 到 2024 年间提出。

为了减少幻觉现象，“减少幻觉 (Reduce Hallucination)”部分介绍了如检索增强生成 (Retrieval Augmented Generation, RAG)、反应式提示 (ReAct Prompting)、验证链 (Chain-of-Verification, CoVe)、笔记链提示 (Chain-of-Note, CoN)、知识链提示 (Chain-of-Knowledge, CoK) 等技术。

在“用户互动 (User Interaction)”章节，我们讨论了如何通过主动提示 (Active-Prompt) 来增强与用户的互动。

“微调与优化 (Fine-Tuning and Optimization)”一节探讨了如何自动化提示工程 (Automatic Prompt Engineer, APE) 来优化模型表现。

“基于知识的推理与生成 (Knowledge-Based Reasoning and Generation)”介绍了自动推理和工具使用 (Automatic Reasoning and Tool-use, ART) 等方法。

此外，还有“提高一致性与连贯性 (Improving Consistency and Coherence)”、“管理情绪与语调 (Managing Emotions and Tone)”、“代码生成与执行 (Code Generation and Execution)”、“优化与效率 (Optimization and Efficiency)”、“理解用户意图 (Understanding User Intent)”以及“元认知与自我反思 (Metacognition and Self-Reflection)”等章节，都详细讨论了各自领域的最新进展和技术。

每一部分都紧密结合了当前最前沿的研究，展示了在人工智能领域如何通过精细化的提示设计来解决复杂问题，增强模型的理解能力，以及提高与用户的互动质量。

图