2025_NIPS_Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective

一、文章主要内容总结

该研究聚焦于强化学习（RL）在大型语言模型（LLM）跨领域推理能力提升中的应用，核心解决现有RL推理数据集多局限于单领域（如数学、代码）、缺乏高质量多领域资源的问题，具体内容如下：

1. 数据集构建：提出多领域RL推理数据集GURU，包含9.2万条样本，覆盖数学、代码、科学、逻辑、模拟、表格6大推理领域，通过数据来源筛选、去重、奖励设计、启发式过滤、难度过滤5个阶段的严格流程确保数据质量。
2. 跨领域迁移分析：基于GURU数据集开展受控实验，揭示影响跨领域迁移的关键因素：数学、代码、科学领域从跨领域RL训练中获益显著；混合领域训练效果优于或持平单领域训练；训练数据难度会影响域内与跨领域性能平衡（高难度数据提升域内性能但可能损害简单跨领域任务表现）；不同领域的RL训练动态（如响应长度变化）存在差异。
3. 模型训练与评估：基于GURU数据集训练GURU-7B和GURU-32B两个模型（无监督微调SFT，纯RL训练），在涵盖17个任务、6大领域的评估套件中，分别比现有领先开源RL推理模型（Open-Reasoner-Zero）提升7.3%和7.8%，展现出更均衡的跨领域推理能力。
4. 资源开放：计划公开GURU数据集、模型权重、评估套件及代码，助力社区推进通用多领域推理研究。

二、文章创新点

1. 多领域数据集突破：首次构建覆盖6大核心推理领域的高质量RL数据集，解决现有数据集单