2025_NIPS_Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sam

文章核心总结与翻译

一、主要内容

文章聚焦大语言模型（LLMs）的思维链（CoT）推理优化，将其形式化为潜变量问题，指出传统方法（如RAFT）采用统一推理预算分配策略，存在随机梯度估计低效的瓶颈。为此提出GVM-RAFT算法，通过基于梯度方差最小化的动态样本分配策略，根据提示词的接受率和梯度范数自适应分配计算资源。该算法基于期望最大化（EM）框架，在数学推理任务中验证了有效性，同时可扩展至GRPO等强化学习算法，实现收敛速度和准确率的双重提升。

二、创新点

1. 识别核心瓶颈：明确传统CoT训练中，统一静态采样策略忽略提示词难度差异，导致随机梯度估计低效。
2. 提出动态采样策略：设计GVM（梯度方差最小化）机制，自适应分配计算资源，最小化梯度方差，提供理论收敛保证。
3. 广泛适用性：可集成到RAFT++、GRPO等算法中，在Qwen系列模型上实现2-4倍收敛加速，且准确率显著提升。
4. 理论与实践结合：基于EM框架推导算法，通过正则化项避免无效提示词过度采样，保证训练稳定性。

---

三、关键部分翻译（Markdown格式）

Abstract

思维链（CoT）推理在大语言模型（LLMs）中可形式化为潜变量问题，模型需生成中间推理步骤。尽管此前的方法（如迭代奖励排序微调RAFT）依赖此类形式化，但它们通常对所有提示词采用统一的推理预算，未能考虑难度差异