IT荻的博客

https://www.cnblogs.com/dushuxiang/p/10304622.html摘要深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。受到相当大关注的领域的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文重点讨论了这个问题，并提出了两种新的压缩方法，它们共同利用大型网络称为“教师”的权重量化和蒸馏，进入压缩的“学生”网络。我们提出的第一种方法称为量化蒸馏，并在训练过程中利用蒸馏，将蒸馏损失（相对于教师网络表示）纳入较小的学生网络的

https://www.cnblogs.com/wanghui-garcia/p/12558633.htmlhttps://blog.youkuaiyun.com/richard_che/article/details/106502823https://blog.youkuaiyun.com/weixin_40671425/article/details/103164518