Towards a Unified View of Large Language Model Post-Training

一、论文主要内容

该论文聚焦大型语言模型（LLM）的后训练阶段，指出当前后训练存在两类核心数据来源：一是在线数据（模型生成的rollouts数据），二是离线数据（人类或其他模型提供的演示数据），且这两类数据通常分别对应强化学习（RL）和监督微调（SFT）两种后训练方法。论文通过理论推导提出“统一策略梯度估计器”（Unified Policy Gradient Estimator），证明RL与SFT并非对立方法，而是同一优化过程的不同实例——二者均可表示为在不同数据分布假设和偏差-方差权衡下，某一共同目标函数的梯度形式。该梯度估计器由四个可互换组件构成：稳定掩码（stabilization mask）、参考策略分母（reference policy denominator）、优势估计（advantage estimate）和似然梯度（likelihood gradient）。基于这一理论发现，论文进一步提出“混合后训练”（Hybrid Post-Training, HPT）算法，该算法能动态选择不同训练信号，在有效利用演示数据（实现“利用”）的同时保证稳定探索，且不牺牲模型已习得的推理模式。为验证理论框架与算法的有效性，作者开展了大量实验与消融研究，结果显示在6个数学推理基准测试和2个分布外（OOD）测试套件中，HPT在不同规模、不同家族的模型上均持续优于性能强劲的基线模型。

二、论文创新点

1. 理论统一：首次从数学层面证明强化学习（RL）与监督微调（SFT）是同一优化过程的不同表现形式，打破了二者长期被视为独立后训练方法的认知，为LLM后训练提供了统一的理论视角。
2. 梯度估计器