模型蒸馏(distillation)

大size的teacher模型，训练的样本，最后一层softmax之前的logits，当作student模型的训练目标，损失函数是2个向量的距离；

原理：logits包含更多的信息，比label(也就是1-hot vector)的信息量更大；

student也可以加上对teacher中间层feature的学习；（模型size不同的话，不好办）

一般是先训练完毕teacher模型，再开始训student模型；

也有两者同时一起训练的；

知识蒸馏：

通过很多prompts，把GPT-4的answer记录下来；用于训练自己的大模型；