m0_51134249的博客

翻译 知识蒸馏——Distilling the Knowledge in a Neural Network

最近要研究teacher-student方向，从知识蒸馏第一篇开山之作开始学习吧。 记录一下学习过程，也是帮助大家一起进步，毕竟每次都白嫖也不好意思了。 论文地址：[1503.02531] Distilling the Knowledge in a Neural Network (arxiv.org) 作者是大名鼎鼎的Hinto啊，不过按照他的一贯风格，果然这篇文章最后不是Conclusion而是discussion。（小小吐槽一下 哈哈哈哈哈） abstract和introduction大概概括一