DRQA: Dynamic Reasoning Quota Allocation for Controlling Overthinking in Reasoning Large Language...

DRQA研究总结与核心内容翻译

一、文章主要内容总结

1. 研究背景与问题

推理大型语言模型（RLLMs，如OpenAI-O3、DeepSeek-R1）虽在结构化多步推理任务中表现出色，但普遍存在“过度思考”问题：即便面对“2+3=？”这类简单问题，也会生成冗长推理链，导致token消耗过多、计算效率低下，阻碍其在实际场景中的规模化部署。

2. 关键观察

批量推理时，RLLMs因“资源竞争压力”展现出更高效率：将多个问题批量处理时，总输出token长度远小于单个问题单独处理的token总和（如文中案例，3个问题批量处理仅648token，单独处理共1205token）。模型会在共享上下文窗口中，为不同难度问题动态分配推理资源，优先保留核心逻辑、压缩冗余内容。

3. 核心方法：DRQA（Dynamic Reasoning Quota Allocation）

为将批量推理的“资源竞争优势”迁移到单问题推理，DRQA通过以下步骤实现：

• 偏好数据集构建：用DeepSeek-R1在批量推理场景下生成多样化推理链，标注为“正确但冗长（A）”“正确且简洁（B）”“错误（C）”三类，形成含约3万样本的偏好数据集（问题+推理链+评价选项）。
• 强化学习训练：采用分组相对策略优化（GRPO）算法，训练模