Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

文章主要内容

本文聚焦于大型推理模型（LRMs）在遵循用户指令方面的表现，揭示了推理能力提升与指令可控性之间的矛盾。研究发现，尽管LRMs在数学推理任务上表现出色，但在遵循自然语言指令方面存在显著不足，且推理能力的提升往往以指令遵循能力的下降为代价。

创新点

1. 提出MathIF基准：首个专门评估数学推理任务中指令遵循能力的基准，包含15种Python可验证的约束条件，覆盖4个类别，生成420个高质量评估样本。
2. 揭示能力权衡：发现推理能力与指令遵循能力之间存在内在权衡，长思维链（CoT）训练和推理导向的强化学习会降低指令遵循能力，尤其在生成长度增加时更为明显。
3. 验证干预效果：简单干预（如重复指令）可部分恢复模型的指令遵循能力，但会牺牲推理性能，强调需开发更具指令感知的推理模型。

英文摘要、引言、结论翻译

Abstract

指令遵循对于使大型语言模型（LLMs）与用户意图保持一致至关重要。尽管最近面向推理的模型在复杂数学问题上表现出令人印象深刻的性能，但它们遵循自然语言指令的能力仍未得到充分探索。在这项工作中，我们引入了MathIF，这是一个专门用于评估数学推理任务中指令遵循能力的基准。我们的实证分析揭示了推理能力扩展与保持可控性之间的持续矛盾，因为推理更有效的模型往往难以遵守用户指令。我们发现，在蒸馏的长思维链上进行微调或使用面向推理的强化学习训练的模型，其