2025_NIPS_TTRL: Test-Time Reinforcement Learning

文章核心总结与翻译

一、主要内容

该研究提出测试时强化学习（TTRL） 框架，旨在解决大型语言模型（LLMs）在推理任务中缺乏显式标签时的自进化问题。核心挑战是在无真实标签的推理阶段进行奖励估计，而TTRL通过融合测试时缩放（TTS）中的多数投票策略，为强化学习训练生成有效奖励信号，实现模型在无标记测试数据上的自我提升。

核心机制

1. 奖励估计：对输入问题生成多个候选输出，通过多数投票得到共识输出作为伪标签，基于候选输出与伪标签的一致性计算规则化奖励。
2. 在线强化学习：利用梯度上升更新模型参数，使模型在推理过程中自适应测试数据分布，无需依赖标记数据。
3. 泛化能力：在数学推理（AIME 2024、AMC、MATH-500）和研究生级问答（GPQA）等多个基准测试中验证，兼容不同规模、类型的模型（Qwen、LLaMA、Mistral等系列），且可与GRPO、PPO等主流RL算法结合。

关键实验结果

• Qwen2.5-Math-7B在AIME 2024上的pass@1性能提升211%（从12.9提升至40.2），四大基准平均提升76.5%。
• 突破初始模型的多数投票性能上限（maj@n），接近基于真实标签训练的模型性能。
• 模型规模越大，TTRL效果越显著，且在分布外任务中仍保持性能提升，无过拟合风险。</