Snapshot Distillation: Teacher-Student Optimization in One Generation

最新推荐文章于 2024-07-10 16:55:08 发布

原创最新推荐文章于 2024-07-10 16:55:08 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#知识蒸馏

CV大白菜专栏收录该内容

40 篇文章

订阅专栏

本文探讨了快照蒸馏(snapshot distillation)技术，一种利用早期模型指导后期模型训练的方法，旨在增强学生模型的泛化能力。通过保持教师与学生模型的差异性，避免欠拟合，同时利用教师模型提供的置信度分布等次级信息，提升学生模型的学习效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

又来营业啦，这段时间应该更新的都是蒸馏
论文链接
他提出了快照蒸馏（snapshot distillation）。我们从早期样本遍历后的模型 (教师模型) 提取有用信息对后期遍历中的模型 (学生模型) 进行监督训练。与此同时，该方法保证教师和学生模型的神经网络差异性，来防止欠拟合问题的发生。在实际训练中，我们用余弦函数学习率，用每一轮最后的快照作为teacher，来训练下一轮的student，这样teacher传递出来的信息会更平滑，这也能提供更好的信息，这里认为teacher提供了一个secondary information，比如类之间的相似性。
影响蒸馏的有三个因素：
1.teacher应该被训练好
2.teacher和student之间有足够大的差异性
3.teacher提供secondary information给student（置信度分布）

Teacher-Student Optimization

简而言之就是hard CEloss+soft CEloss(KL散度)
用训练完毕的模型训练他本身。
在这里插入图片描述
从表格看，训练300epoch完毕的模型去训75epoch的student，训到结束，效果最好，也就是说teacher和student差异越大，效果越好。但是也有论文指出，teacher和student的size gap越大，效果越不好。这里teacher和student是同一个模型，size相同。