The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models

文章主要内容总结

本文围绕大推理模型（LRMs）的推理能力展开系统研究，通过可控谜题环境分析其在不同问题复杂度下的表现，揭示其优势与局限性：

1. 研究背景与问题：当前LRMs（如OpenAI o1/o3、DeepSeek-R1等）虽在推理基准测试中表现提升，但对其底层能力、缩放特性及局限性的理解不足。现有评估依赖数学和编码基准，存在数据污染且缺乏对推理轨迹的深度分析。
2. 研究方法：采用可控谜题环境（如汉诺塔、跳棋、过河、积木世界），通过调整问题复杂度（如磁盘数量、棋子数量等），系统分析LRMs的最终答案准确性与内部推理轨迹。
3. 核心发现：
   • 三阶段性能模式：
     • 低复杂度任务：标准LLMs比LRMs更高效准确；
     • 中等复杂度任务：LRMs通过长思维链（CoT）展现优势；
     • 高复杂度任务：LRMs与标准LLMs均完全崩溃。
   • 推理努力的反直觉限制：LRMs的推理token使用量随复杂度增加至临界点后反而下降，尽管token预算充足，表明存在内在缩放限制。
   • 推理轨迹缺陷：LRMs在简单问题中存在“过度思考”（过早找到正确解但继续探索错误路径），高复杂度下则完全无法自纠正，且无法有效执行显式算法（如汉诺塔递归步骤）。