2025_NIPS_Evaluating the Inductive Abilities of Large Language Models: Why Chain-of-Thought Reasonin

文章主要内容总结

该研究聚焦大型语言模型（LLMs）的归纳推理能力，核心探究思维链（CoT）提示对归纳推理的影响。研究通过设计国际象棋、德州扑克、骰子游戏、二十一点四类含隐藏规则的诊断性游戏任务，对比8个主流LLM（含4个非推理模型和4个推理增强模型（LRMs））的表现，发现CoT推理反而会降低归纳性能，LRMs常不如非推理模型。

研究提出理论框架，指出推理失败源于三种模式：子任务分解错误、子任务求解错误、最终答案总结错误。基于此，设计了针对性干预策略：结构化分解模板、非数值示例引导求解、1000词令牌预算限制总结，无需重新训练即可显著提升归纳准确率。

创新点

1. 构建四类可控游戏任务，首次系统验证CoT推理对隐藏规则归纳的负面影响，打破“推理深度提升性能”的固有假设。
2. 提出多阶段推理错误理论框架，量化分解、求解、总结三类错误的传播机制，证明推理误差存在“U型曲线”（存在最优推理长度）。
3. 设计误差导向的结构化干预方案，精准解决三类错误，且在数学推理任务（AIME）中验证了跨场景适用性。

---

翻译部分（Markdown格式）

Abstract（摘要）

大型语言模型（LLMs）已在