Beyond Token Length: Step Pruner for Efficient and Accurate Reasoning in Large Language Models

该文章提出了一种名为Step Pruner（SP）的强化学习框架，旨在解决大型推理模型（LRMs）“过度思考”问题，在保证推理准确性的同时，通过优化推理步骤而非单纯减少token数量，显著提升推理效率。

一、文章主要内容总结

1. 研究背景
   • 大型推理模型（LRMs）在复杂任务中表现出色，但存在“过度思考”问题，生成冗长内容，增加计算成本且可能引入更多错误。
   • 现有基于强化学习（RL）的解决方案多通过惩罚token数量来追求简洁，但存在两大问题：token少不代表推理步骤少；训练后期模型可能为减少token而省略推理步骤，出现“作弊”行为。
2. 核心方法：Step Pruner（SP）框架
   • 步骤感知奖励函数：优先考虑推理正确性，对冗余推理步骤进行惩罚，同时对错误响应不给予奖励，避免错误推理被强化。
   • 动态停止机制：当任何输出步骤的长度超过上限时，停止更新，防止模型因合并步骤而产生“作弊”行为。
   • 步骤分割策略：对比段落分割、句子分割、语义相似性分割等策略，发现基于段落的分割在简洁性和性能间取得最佳平衡。