2025_NIPS_Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback

文章核心总结与翻译

一、主要内容

该研究聚焦于人类反馈强化学习（RLHF）中的数据缩放瓶颈问题，系统分析了阻碍RLHF性能提升的两大核心障碍：奖励黑客行为（Reward Hacking）（模型利用奖励函数缺陷虚假提升分数而非真正优化性能）和模型响应多样性下降。为解决这些问题，研究提出了一套整合式解决方案，核心包括：

1. 混合奖励系统：结合推理任务验证器（RTV）和生成式奖励模型（GenRM），利用明确的真实标签（Ground Truth）对模型响应进行精准评估，增强对奖励黑客行为的抵抗能力。
2. Pre-PPO提示选择策略：筛选出具有挑战性、不易被奖励黑客攻击的训练提示，帮助模型捕捉细粒度的响应差异，避免学习表面化模式。
3. 任务优先级训练：在RLHF早期阶段优先训练数学和编码任务，这类任务天然具备清晰的真实标签和细粒度区分度，能为模型奠定稳健的学习基础，后续再融入通用领域任务。

研究通过25B和150B参数的混合专家（MoE）模型进行实验验证，结果表明：该方案在数学（STEM）、编码领域实现显著性能提升，在挑战性任务和分布外任务上展现出强劲的泛化能力，同时保持了模型的通用能力，有效突破了RLHF的数据缩放瓶颈。

二、创新点

1. 系统性瓶颈分析：首次明确将奖励黑客行为和响应多样性下降列为RLHF数据缩放的核心