Transformer——Q114 推导蒸馏小型Transformer的知识传递损失函数

 该问题归类到Transformer架构问题集——架构变体——高效架构。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景：大模型瘦身的迫切需求

GPT-3 拥有 1750 亿参数，在文本生成、知识问答等任务中表现惊艳，但庞大的参数量如同沉重的枷锁，不仅训练成本高昂，而且难以部署到手机、车载终端等资源受限设备上。知识蒸馏技术就像一把精巧的手术刀，旨在将大型教师模型蕴含的知识，精准地 “移植” 到小型学生模型中，让后者在保持高性能的同时大幅缩减体积。

然而，Transformer 的知识体系极为复杂，其不仅存在于最终输出的预测结果中，更蕴含在每一层的隐藏状态、注意力矩阵里。如何设计一个精准的损失函数，让学生模型既能模仿教师模型的输出结论，又能复刻其内部推理过程？这需要我们从数学原理出发，深入剖析知识传递的本质。

2. 技术原理：多维度知识传递的数学解构

知识蒸馏的损失函数通常由三部分构成：软标签损失、特征匹配损失、注意力蒸馏损失。每一部分都对应着 Transformer 不同层面的知识，下面我们从数学原理角度，详细解析其设计逻辑。

2.1 软标签损失：为何选择 KL 散度度量分布差异？

教师模型输出的 logits 经过 softmax 后，会形成一个概率分布 ，其中 T 是温度参数，T > 1 时会软化概率分布，使得各个类别之间的概率差异不那么尖锐。学生模型的输出分布为