一篇85页的面向推理型大模型的Long-CoT技术最新综述

来源 | PaperAgent

推理型大模型（Reasoning Large Language Models）例如DeepSeek-R1和OpenAI-O1等在数学和编程等复杂领域展现了令人印象深刻的能力。它们成功的关键因素之一在于它们应用了长链推理（Long Chain-of-Thought, Long CoT）的特性，这种特性增强了模型的推理能力，使其能够解决复杂的问题。

过去三年中选定的长链推理（Long CoT）的演变，其中彩色分支代表不同的特征：深度推理、可行反思和广泛探索。每个特征进一步细分为关键领域：深度推理包括其格式和学习方法。可行反思关注反思过程中的反馈和优化策略中的细化技术。广泛探索涉及长链推理的关键改进，包括规模扩展、内部探索和外部探索。

哈工大&中南大学&港大&复旦联合发表最新Long-CoT最新技术综述，围绕长链推理的定义、与传统短链推理（Short CoT）的区别、关键特性（如深度推理、广泛探索和可行反思）、相关现象（如“过思考”和测试时扩展）以及未来发展方向进行了全面梳理和分析。

一、Long CoT与Short CoT讨论

详细讨论了长链推理和短链推理的区别，并引入一个新的分类体系来对当前的推理范式进行分类。