2025_NIPS_Adversarial Moment-Matching Distillation of Large Language Models

文章核心总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）的知识蒸馏（KD），针对现有基于分布匹配的蒸馏方法存在的次优性问题，提出一种基于对抗性矩匹配的蒸馏策略。通过强化学习框架将蒸馏转化为模仿学习问题，从在线策略和离线策略双视角匹配教师模型行为的动作值矩，设计对抗训练算法联合估计矩匹配距离并优化学生模型，最终在通用指令遵循任务和文本摘要、机器翻译、常识推理等特定任务中，均实现了优于现有方法的性能。

二、创新点

1. 范式转换：将LLMs蒸馏视为模仿学习问题，用“模仿差距”定义蒸馏目标，通过动作值（Q值）矩匹配替代传统的概率分布距离最小化，更全面捕捉语言知识。
2. 双视角矩匹配：推导了离线策略和在线策略下模仿差距的边界，结合两类目标形成联合优化，兼顾教师生成数据和学生自生成数据的价值。
3. 对抗训练算法：设计 minimax 博弈框架，通过两个辅助Q值网络估计矩匹配目标，用策略梯度优化学生模型，理论证明算法能收敛到ϵ-精确平稳点。
4. 理论关联：建立了矩匹配目标与总变差（TV）距离的上界关系，说明其相比传统分布匹配方法的优越性。

---

三、核心部分翻译（Markdown格式）

Abstract

知识蒸馏（KD）已被证明能有效利用大型教师模型指导小型学生模型，在提升大型语言模型（LLMs）的计算和内存效率方面具有实际价值。目前最先进的LLM蒸馏方法大多依赖于最小化教师和学生概