Systematic Diagnosis of Brittle Reasoning in Large Language Models

该文章提出了一种诊断大型语言模型（LLMs）数学推理脆弱性的新框架，通过生成推理轨迹、聚类分析推理模式，揭示了模型在不同推理任务上的显著性能差异，并为模型优化提供了数据驱动的方向。

一、文章主要内容总结

1. 研究背景：LLMs的数学推理能力虽因高质量基准（如GSM8K数据集）和思维链（CoT）提示等技术大幅提升，但仍存在逻辑错误，且缺乏系统的故障诊断框架。
2. 实验设计：以GSM8K数据集的1000个问题为样本，用gpt-3.5-turbo生成结构化推理轨迹，借助gpt-4o-mini进行错误分类和无监督聚类，分析推理模式的可靠性。
3. 核心发现：
   • 模型整体准确率达84.9%，错误主要源于推理错误（49.7%），其次是计算错误（33.1%）。
   • 推理模式存在显著性能差异：在程序性任务（如计算物品总成本、顺序计算步骤）上准确率接近100%，但在组合约束计算、方程代换简化等任务上准确率骤降，部分任务（如带限制的组合计算）准确率为0%。
4. 局限性与未来方向：当前研究仅基于gpt-3.5-turbo和GSM8K数据集，未来计划扩展到多模型、多领域分析，并通过脆弱推理模式数据微调模型以修复缺陷。

二、文章创新点

1. 提出新的诊断框架：突破传统任务级准确率评估，通过“生成推理轨迹→错误分类→推理模式聚类”的 pipeli