蒸馏后的学生模型会了新知识，还是只会把旧知识组合起来？

一篇新论文把这个问题拆开做了实验。研究者没有只看一道数学题的最终分数，而是让学生模型分别面对两种考题：一种需要记住此前没学过的事实，另一种只使用它已经学过的事实，但要换一种更复杂的步骤顺序来组合。

这个区分很重要。模型在多步推理题上得分上升，并不能直接说明它记住了教师知道的新内容。它可能只是更擅长调用已有信息、安排中间步骤。反过来，模型记住了新的问答，也不代表它会把这些信息用于陌生结构。

论文作者把事实做成随机查询表。一个输入对对应一个输出值，表项之间没有可推导的规律。学生初始化时学会一部分表项，教师再额外学习留出的表项。因为这些数值随机生成，模型不能靠常识或算术猜出缺失答案。要答对，就得确实学到对应关系。

组合能力则用链和树来表示。链里的每一步接着上一步结果，树结构要先完成不同分支，再把结果按正确次序合并。研究者控制两类知识，让教师分别只增加事实、只增加组合技能，或两者都增加。学生从相同初始状态开始接受蒸馏，然后在未参与训练的结构上测试。

在这组受控实验里，四个模型的平均结果显示，从组合技能教师蒸馏的学生，在未见过的树形结构上达到79.10%的贪心准确率。匹配的基线是0.72%。测试使用的事实都已在学生初始化阶段学过，所以这项提升对应的是组织、调用和组合已有信息的能力，不是记住了新事实。

事实迁移的结果弱得多。从额外事实教师蒸馏后，学生在留出事实的单步查询上平均为13.12%，匹配基线为0.03%；放进每一步都要查询留出事实的多步链后，学生平均准确率只有0.54%。不同模型差异明显，Gemma-2-2B单步达到32.95%。因此更准确的结论是，这个实验设置下事实迁移不稳定且依赖模型，不能写成完全没有迁移。

研究还用Qwen3-4B做了自然任务验证。数学评测从1000道题中留出201道，其他题用于蒸馏提示；准确率由17.41%升至23.88%，提高6.47个百分点。近期事实问答集合有809题，事实教师在同一训练集合上测得84.55%，学生从11.25%变为9.64%。这两组变化来自分别训练的条件，并非同一个蒸馏学生同时取得。教师在训练题上的分数不能当成教师面对全新问题的泛化成绩。

做自己的蒸馏评测时，可以把任务分成四格。第一格是学生已知事实＋熟悉步骤，检查基础稳定性。第二格是学生已知事实＋新步骤结构，测组合与泛化。第三格是新事实＋熟悉提问方式，测事实迁移。第四格是新事实＋新结构，测两种能力叠加后的表现。每格都应有独立留出题，避免训练提示和测试题重复。

记录时不要只留一个总准确率。至少同时报告事实来源、学生初始状态、教师新增了什么、训练前缀来自教师还是学生、分布匹配目标、测试结构是否见过，以及事实与组合两类指标。若只汇报数学分数，读者无法知道提高来自记住新知识，还是更会使用已有知识。

论文用的是on-policy distillation，也就是学生沿自己的生成轨迹产生前缀，教师再为这些位置提供token级目标分布；核心实验使用反向KL。它和把教师生成的问答文本导出后做普通监督微调不是同一训练配方。若实际系统只能拿到教师文本，不能直接声称复现了论文的OPD机制。

这套拆分不是通用行业标准，也不能替代目标业务评测。它更像一张诊断地图，帮助团队先问清学生究竟要新增事实、提高组合能力，还是两者都要。目标不同，测试集就不能只用同一道题换几种措辞。

具体划分时，要先冻结事实表，再生成问题。论文一共构造25个事实算子，初始化阶段只让学生接触其中20个，另外5个留给教师新增。这里留出的是事实来源，不只是同一事实的另一种问法。如果学生已经在初始化里学过某个映射，即使测试问题从未出现，也不能把答对算作新增事实迁移。

下面这张表可作为自建测试集的起点，属于评测建议，并非原论文的完整复现。

底层事实	步骤结构	要排查的问题
已学过	熟悉	原有能力是否退化
已学过	留出	是否会重新组织已有信息
教师新增	熟悉	新事实能否被单独调用
教师新增	留出	记忆与组合叠加后是否仍可靠

四格测试还应保存中间步骤，分别标记第一次事实查询错误与第一次依赖关系错误。某条链最终答错，可能是首个新事实没有记住，也可能是取用了错误分支的中间值。只看末尾答案无法区分这两种失败。评分程序若允许不同形式的正确过程，就应先规定等价规则，避免把格式变化误记成能力下降。

另一项必要控制是教师与学生的起点。本论文的受控教师和学生共享基座架构与初始化，教师再获得额外训练；它检验的是监督带来的能力转移，不直接证明大教师向更小学生压缩的效果。用于真实压缩项目时，还要增加容量差异这个变量。若同时换模型、数据和目标，分数变化就很难归因于某一项设计。

来源：Tang与Yang，On-Policy Distillation Teaches New Skills but Not New Knowledge，2026年10月7日提交，v1预印本。