TTRL: Test-Time Reinforcement Learning

主要内容

1. 研究背景：测试时缩放（TTS）是提升大语言模型（LLMs）推理能力的新兴趋势，但基于强化学习（RL）的方法在处理无标签新数据时存在不足。测试时训练（TTT）方法虽受关注，但在测试时获取RL奖励或验证器面临挑战。
2. TTRL方法：在无真实标签的测试数据上，通过重复采样策略估计标签，构建基于多数投票的奖励信号，利用RL更新预训练模型参数，实现模型在推理时的自适应，提升对分布转移输入的性能。
3. 实验设置：选用Qwen2.5-Math-1.5B、Qwen2.5-Math-7B和LLaMA-3.1-8B-Instruct等模型，在AIME 2024、AMC和MATH-500等数学推理基准测试上进行实验，对比骨干模型、经过大规模后训练的指令模型及当前领先的“R1-Zero-Like”模型。
4. 实验结果：TTRL在多数任务和模型上表现良好，如在AIME 2024上，Qwen2.5-Math-7B使用TTRL后pass@1性能提升约159%，且在不同规模和类型的模型上均有效，能与不同RL算法兼容，泛化性良好。
5. 讨论分析：TTRL性能可超越训练信号和初始模型的直观上限Maj@N，接近使用真实标签在测试数据上直接训练的性能；因其能容忍奖励不准确且奖励计算方式具有鲁棒性