2025-NIPS-RAST: Reasoning Activation in LLMs via Small-model Transfer

文章主要内容总结

本文针对大语言模型（LLMs）强化学习（RL）训练推理能力时资源消耗过大的问题，提出了一种高效的推理激活方法RAST。核心思路是：RL并未给模型赋予新知识，而是通过调整少量关键推理行为相关的token概率，激活基础模型中潜在的推理能力，且这种概率调整具有模型尺度无关性。RAST通过将小型RL训练模型的输出概率偏移（ΔR）迁移到大型基础模型，在解码阶段调整其logit分布，无需对大型模型直接进行RL训练。实验表明，RAST在数学推理、代码生成等多个任务中显著提升了大型基础模型的性能，部分场景下超越直接RL训练的模型，同时大幅降低GPU内存开销，还能提升搜索空间多样性。

创新点

1. 提出核心假设：RL对LLMs推理能力的激活源于对少量关键推理token的概率调整，而非全局改变输出分布，且该调整可跨模型尺度迁移。
2. 设计RAST方法：通过解码阶段注入小型RL模型的logit差异信号，高效激活大型基础模型的推理能力，无需大规模重训练。
3. 验证跨场景通用性：在Qwen、Llama等不同模型架构，数学推理、代码生成等不同任务中均实现性能提升，证明方法的普适性。
4. 兼顾效率与性能：相比直接RL训练，RAST降低了50%的GPU内存消耗，同时通过提升推理多样性，在pass@k指标上表现更优。

---

翻译部分（Markdown格式）

Abstract（摘要）

强化学习（RL）已成为提升大型语言模型（LLMs）推理能力的强大