2025_NIPS_Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning

文章主要内容总结

本文聚焦强化学习（RL）对大语言模型（LLM）数学推理能力的影响，核心是解决“RL如何提升推理性能”的机制性问题。通过构建SPARKLE细粒度分析框架，从计划遵循与执行、知识整合、子问题分解三个维度展开研究，同时提出SparkleRL-PSS多阶段RL训练 pipeline。研究发现：RL能增强模型计划遵循的灵活性和知识整合能力，但强制遵循人类设计的具体计划会降低性能；硬问题经部分步骤支架增强后可有效用于训练；知识整合对高难度问题的增益随难度提升而扩大，而子问题分解仍是模型的薄弱环节。

核心创新点

1. SPARKLE分析框架：首个从计划、知识、子问题三个核心维度，系统拆解LLM推理能力的细粒度框架，配套构建了含2564道题的标注基准库。
2. SparkleRL-PSS训练方法：两阶段课程式训练，通过部分步骤支架复用硬问题，无需额外数据生成即可有效引导模型探索复杂推理路径。
3. 机制性洞察：揭示RL提升推理的关键并非执行外部计划，而是优化内部策略；明确知识整合对高难度任务的核心价值，为RL pipeline设计提供实操指导。

---

Abstract 翻译

强化学习（RL）已成为提升语言