蒸馏目标选错，学生可能练会步骤，却没记住新事实

一篇10月7日提交的预印本，把on-policy蒸馏中的两个设计选择拆开比较：训练时沿教师示范还是学生自己生成的轨迹继续；匹配教师与学生输出分布时使用反向KL还是前向KL。论文发现，这两个选择影响的能力并不相同。

先把术语说清。学生生成的轨迹，是模型先按自己的当前能力回答，后续token都建立在它真实可能走到的前缀上。教师再针对这些前缀给出下一token的分布信号。教师示范前缀则来自教师已有的正确回答。前者能让教师看到学生容易走错的位置，后者主要教学生沿着示范路径预测。

KL方向也不是一个抽象的小参数。在前向KL里，目标分布中教师认为可能的token会对学生产生约束；学生若漏掉教师有较高概率的选项，损失会反映出来。反向KL更多按学生当前生成分布来衡量差异。若学生对正确事实几乎不给概率，训练信号可能难以把这个事实拉进来。具体效果还受目标、采样和实现方式影响，不能把这个解释当作所有场景的定律。

研究者先在可控制的任务里分别加入事实和组合技能，再让Qwen3-4B、Gemma-2-2B两种模型接受不同训练。注意，KL方向消融是两种模型的结果，不能把它扩展为论文全部四个模型都做了同一组比较。

在学生生成轨迹保持不变的条件下，把目标从反向KL换成前向KL，Qwen3-4B对留出事实的单步准确率从10.95%变为54.10%，Gemma-2-2B从32.95%变为94.10%。论文据此认为，这组实验里的事实迁移主要受分布匹配目标影响。对于未见树结构的组合能力，学生轨迹在两种KL方向下都能改善参考答案的似然，贪心准确率在多数比较里也提高。这提示训练前缀与分布目标分别在发挥作用。

这个结果不等于前向KL总是更好。论文在合成控制任务和有限模型上拆因素，后续还比较了其他目标。ToDi在论文的Qwen3-4B控制实验里取得更高的事实与组合结果，但这是对应的设置和数据，不是可以直接复制的业务承诺。算力、教师接口、词表对齐、训练数据质量和任务结构都可能改变结论。

要把这项研究转成可执行的实验，不必一开始就改完整训练流程。先固定学生初始检查点、教师、训练问题、优化预算和测试集，然后设计一个二乘二对照：教师前缀＋前向KL，学生前缀＋前向KL，教师前缀＋反向KL，学生前缀＋反向KL。至少重复多个随机种子或记录波动，单次结果不足以建立稳健结论。

评测再分开事实回忆和组合执行。事实任务可用训练前后都可验证的留出映射或有来源的最新问答；组合任务要保证底层事实已知，同时改用未出现过的步骤结构。不要让测试集只是在训练题里替换实体名称，那可能只测表面泛化。

工程上还有门槛。论文的token级教师分布信号不等于普通API返回的自然语言答案。只有文本接口时，可以研究离线教师示范监督、答案与解释联合监督等方案，但应另称训练配方，并设计自己的对照。不能仅凭“用教师回答训练学生”就说做了相同OPD。

所以训练前先写清目标。如果希望学生处理自己容易走错的推理路径，学生轨迹值得测试；如果目标是注入学生原本不知道的事实，就应重点验证目标分布能否覆盖教师提供的信息。两者可能需要不同数据和损失设计。模型变得会推理，与模型增加事实记忆，是两项独立主张，要分别拿测试结果支持。

二乘二实验最容易漏掉的是预算对齐。相同训练轮数不一定意味着相同计算量，学生轨迹长度、教师前向计算次数和有效训练token都可能不同。因此至少同时记录训练token、教师调用次数与实际耗时，再把质量和资源消耗分开比较。这是工程实验建议，论文中的准确率不能直接换算成你的训练成本收益。

实现损失时也要保留配置细节。对同一个前缀，前向KL通常写作教师分布相对学生分布的散度，反向KL则交换两者。二者都涉及概率分布，但期望权重不同。不能只改一个配置名称，就假定采样估计、梯度路径和截断策略与原文一致。正文中的机制解释是帮助提出假设，具体实现仍要对照公式与训练代码核查。

尤其要区分全词表分布与少量候选token概率。论文主配置计算全词表反向KL；如果接口只返回前几个候选，缺失的概率质量怎么处理，会改变目标。教师和学生分词方式不同，还需要解决位置与词表对应关系。把教师答案切成学生token后做交叉熵训练，是另一种监督方式，不能靠名字相似把两者算成同一对照。

本研究的受控教师与学生共享基座和初始化，减少了模型容量差异这个干扰。真实系统若换成不同尺寸、不同词表的模型，应把这些差异记录为额外变量。先验证信号是否可获得、目标是否被正确实现，再讨论某个KL方向是否适合任务，能避免拿一个论文数字替代完整实验。

来源：Tang与Yang，On-Policy Distillation Teaches New Skills but Not New Knowledge，2026年10月7日提交，v1预印本。