LESS IS MORE: SELECTIVE REFLECTION FOR COMPATIBLE AND EFFICIENT KNOWLEDGE DISTILLATION IN LARGE LANG

一、论文主要内容总结

1. 研究背景与问题

• 大语言模型（LLMs）困境：LLMs在文本生成、语言理解和推理任务中表现优异，但巨大的计算与内存需求限制了其在边缘设备等资源受限环境中的部署，知识蒸馏（KD）成为模型压缩的核心技术。
• 现有白盒KD方法的不足：白盒KD方法虽能利用教师模型的软标签提供更丰富监督，但存在两大关键缺陷：一是忽视训练数据质量，未筛选出与学生模型适配的数据；二是缺乏学生-模型兼容性考量，易因师生能力差距导致训练-推理不匹配，且部分依赖学生生成输出的方法存在计算成本高、早期训练易受低质量输出误导的问题。

2. 核心方法：选择性反射蒸馏（SRD）

SRD是一种即插即用的数据筛选框架，通过“数据筛选+课程调度”双阶段解决白盒KD的核心问题，具体流程如下：

• 阶段1：训练数据的选择性反射
  1. 难度评估：让学生模型对原始训练集中的prompt-response对生成响应，通过两个互补指标评估样本难度——ROUGE-L分数（分数越高，学生输出与真实标签对齐度越好，难度越低）和交叉熵损失（值越低，学生信心越高，难度越低）。