2025_NIPS_ReDit: Reward Dithering for Improved LLM Policy Optimization

文章核心总结与翻译

一、主要内容

文章聚焦LLM强化学习中离散奖励函数导致的梯度不稳定（消失/爆炸）、收敛缓慢等问题，提出ReDit（Reward Dithering）方法——通过向离散奖励注入零均值随机噪声，软化原始硬奖励函数。该方法在不改变GRPO等算法核心框架的前提下，提升奖励方差、提供持续探索梯度，同时通过理论证明保证梯度估计无偏性。实验覆盖数学推理（GSM8K、MATH等）、代码生成（APPS、HumanEval等）多任务，以及Qwen、Llama、DeepSeek等多模型，验证了ReDit能使训练步数减少90%仍达同等性能，最终精度提升4%左右，且适配全参数微调与LoRA等多种训练范式。

二、创新点

1. 揭示离散奖励的核心缺陷：明确离散奖励在梯度优化中易引发梯度消失/爆炸、探索不足的问题，为后续改进提供理论依据。
2. 提出极简高效的解决方案：仅通过注入零均值噪声（高斯/均匀分布）平滑奖励分布，无需复杂修改模型或算法结构，易集成到现有RL框架。
3. 理论与实验双重验证：证明ReDit的梯度估计无偏性，且引入的梯度方差能同时缓解两种梯度问题；多任务、多模型、多算法实验验证其泛化性。
4. 优化效率显著提升：在保持甚至提升最终精度的前提下，大幅缩短训练时间，降低LLM强化学习的计算成本。

三、关键部分翻译（Markdown格式）

Abstract

DeepSeek-R1通过基于规则