qq_22497977的博客

知识蒸馏：《Distilling the Knowledge in a Neural Network》 2015论文第5部分：在一个特大的数据集上训练一个特殊的网络集成1.问题：网络识别问题2.训练过程2.1通用模型：2.2专有模型：2.2.1专有模型的训练集构造过程2.2.2训练专有模型3.测试过程4.结果15.结果2论文第5部分：在一个特大的数据集上训练一个特殊的网络集成1.问题：网络识别问题前提：训练集JFT，有约1亿个图片。谷歌有个基线模型（Google’s baseline model），

论文笔记《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》知识蒸馏2020论文地址：[https://arxiv.org/abs/2006.01683](Channel Distillation: Channel-Wise Attention for Knowledge Distillation, Zaida Zhou, Chaoran Zhuge, Xinwei Guan, Wen Liu, 2020)