fruit的博客

paper-list1.Distilling the Knowledge in a Neural Networkhiton的经典之作，大体上就是用softmax/t 代替softmax去用大网络学小网络，在mnist等小数据集取得了积极的结果。但是缺乏在imagenet之类的大叔据集的结果，用来训练的模型也是比较小的2.Mimicking Very Efficient Netw...

ICLR-2018摘要知识蒸馏是模型压缩的潜在解决方案。这个想法是让一个小型学生网络模仿大型教师网络的目标，然后学生网络可以与教师网络竞争。以前的大多数研究都集中在分类任务中的模型蒸馏，他们为学生网络提出了不同的体系结构和初始化。但是，只有分类任务是不够的，并且几乎不考虑其他相关任务，例如回归和检索。为了解决这个问题，本文以人脸识别为切入点，提出了从人脸分类到对齐和验证的知识转移模型。...

ICLR-2018摘要深度学习网络在计算机视觉工作（如图像分类和对象检测）方面取得了最先进的准确性。然而，高性能系统通常涉及具有许多参数的大型模型。一旦训练完成，这些表现最佳的模型的一个挑战性方面就是在资源受限的推理系统上进行部署 - 模型（通常是深度网络或宽网络或两者）都是计算和内存密集型的。使用低精度数值和基于知识蒸馏的模型压缩是降低这些部署模型的计算要求和内存占用的常用技术。在本...

ECCV-2018ABSTRACT虽然权重和激活值的量化是深度神经网络（DNN）压缩的有效方法，并且具有很大的潜力来提高利用位操作的推理速度，但是在量化模型和full precision模型之间的预测精度方面仍然存在明显的差距。为了弥补这个差距，我们提出了对量化的，位操作兼容的DNN及其相关量化器的联合训练方法，而不是使用固定的手工量化方案，如均匀或对数量化。我们学习量化器的方法适用于任意位精...