【Distill 系列：三】On the Efficacy of Knowledge Distillation

https://arxiv.org/pdf/1910.01348.pdf

teacher不是性能越高越好（这个我实验验证得到的结果一致）
teacher训练中early stop（未尝试），蒸馏中early stop（我这里不work）有利于提高蒸馏效果

Method

一个潜意识的猜想：性能越高的teacher的蒸馏效果越好

可以看到，随着teacher模型变大，蒸馏的student性能并没有依次提高

作者提出了可能的情况：

1. student能模仿teacher，但性能未提升
2. student未能模仿teacher。

带蒸馏模型是在训练后期性能低于无蒸馏模型

• 提前终止蒸馏 （我这里并不 work）
• 适当提前终止teacher训练亦可提升蒸馏效果。