大模型提示词-LLM研究动态二-（专题9）

1. LLM推理

在过去的几年中，大型语言模型（LLMs）在广泛的任务中取得了显著进展。最近，LLMs在扩展到足够大的规模时显示出具备推理能力的潜力。不同类型的推理是智能的基础，但AI模型如何学习和利用这种能力来解决复杂问题尚未完全理解。这是许多研究实验室高度关注和投资的领域。

1.1 基础模型的推理

Sun 等人（2023）最近提出了一篇关于基础模型推理的综述，重点介绍了各类推理任务的最新进展。该研究还更广泛地探讨了推理，涵盖了多模态模型和自主语言代理的推理能力。

推理任务可能包括数学推理、逻辑推理、因果推理、视觉推理等。下图展示了该综述论文中讨论的推理任务概览，其中包括基础模型的推理技术，如对齐训练（alignment training）和上下文学习（in-context learning）。

1.2 如何在大型语言模型（LLMs）中引出推理能力？

LLMs 的推理能力可以通过多种不同的提示（prompting）方法进行引出和增强。Qiao 等人࿰