From Data-Centric to Sample-Centric: Enhancing LLM Reasoning via Progressive Optimization

文章主要内容总结

本文聚焦于大语言模型（LLMs）的推理能力提升，提出从“数据中心”向“样本中心”转变的优化思路，设计了名为LPPO（Learning-Progress and Prefix-guided Optimization）的渐进式优化框架。该框架通过两种核心策略增强带可验证奖励的强化学习（RLVR）效果：

1. 前缀引导采样（Prefix-Guided Sampling, PG-Sampling）：针对模型难以解决的“挑战性样本”，利用专家演示的部分解前缀作为提示，引导模型完成剩余推理，平衡探索与学习效率；
2. 学习进度加权（Learning-Progress Weighting, LP-Weighting）：通过指数移动平均（EMA）跟踪每个样本的通过率变化，动态调整样本在训练中的权重——强调模型正在进步的样本，弱化学习停滞或退化的样本，提升资源分配效率。

实验表明，LPPO在多个数学推理基准（如AIME、MATH-500等）上优于现有RLVR基线方法，收敛速度更快，性能上限更高，且在不同模型规模、架构和优化器上具有稳健性。

创新点

1. 样本中心视角：突破传统“数据中心”对数据量的依赖，转而聚焦单个样本的动态利用，最大化有限高质量数据的学习价值；
2. 前缀引导采样：在线生成部分专家解前缀作为提示，既保留强化学习的探索优势，又为难题提供有效指导，避免纯监督微调的局限性；
3. 动态学习进