Knowledge Distillation(11)——teacher assistant

最新推荐文章于 2024-08-31 08:52:27 发布

原创最新推荐文章于 2024-08-31 08:52:27 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#DL #ML

Knowledge Distillation 知识蒸馏专栏收录该内容

11 篇文章

订阅专栏

本文探讨了在知识蒸馏过程中引入助教模型以优化学生模型学习效率的方法。研究指出，当教师模型与学生模型之间的差距过大时，学习效果会下降。通过引入一个或多个助教模型可以有效缓解这一问题，提升知识迁移的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

motivation: 希望a teacher can effectively transfer its knowl-
edge to students up to a certain size，
但有时gap太大，效果反而差，
正如mutual learning发现跟teacher学还不如和一个与自己目前水平相当（虽然网络结构差很多）的student学
所以助教的概念都出来了：
在这里插入图片描述
teacher student 差距太大，学习效果反而不好：

这个实验很有趣：
在这里插入图片描述
看完第三个因素后，我觉得是不是gap太大时，把T调大一点就好了啊……
不过可能也不对，毕竟这个teacher才10层，prediction也没有那么hard吧，有些论文里面teacher student都是resnet这种，也没听说T要调特别大

在这里插入图片描述

teacher和student之间引入一个TA是有效的，然而又有了这些问题：
在这里插入图片描述
作者说用accuracy平均，然后得到对应TA的层数

我觉得这种可操作性太差，平均accuracy对应多少层还不是得训练了才知道，直接(10+2)/2不好，求几何平均数我觉得更科学点 $10×2=4.5\sqrt{10\times2}=4.5$