分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。

模型效率在计算机视觉中变得越来越重要。本文系统地研究了用于目标检测的神经网络架构设计选择，并提出了几个关键的优化方法来提高效率。首先，我们提出了**加权双向特征金字塔网络（BiFPN），可以轻松快速地进行多尺度特征融合；其次，我们提出了一种复合缩放方法，同时统一调整所有骨干网络、特征网络和框/类别预测网络的分辨率、深度和宽度。**基于这些优化和更好的骨干网络，我们开发了一系列名为 EfficientDet 的新型目标检测器，这些检测器在广泛的资源约束范围内始终比先前技术取得更好的效率。

提高几乎所有机器学习算法性能的一个非常简单的方法是在相同的数据上训练许多不同的模型，然后平均它们的预测结果。不幸的是，使用整个集成模型进行预测很麻烦，并且可能计算成本太高，无法部署给大量用户，特别是如果单个模型是大型神经网络。Caruana和他的合作者[1]已经证明，可以将集成中的知识压缩到一个更容易部署的单个模型中，我们使用不同的压缩技术进一步开发了这种方法。我们在MNIST上取得了一些令人惊讶的结果，我们表明，通过将集成模型中的知识提取到一个单个模型中，我们可以显著改善一个使用频繁的商业系统的声学模型。

深度神经网络（DNNs）由于卷积神经网络的指数级发展，已被应用于计算机视觉的各个领域[7,27,12]。为了在移动设备上取得成功，视觉任务需要克服有限的计算资源[11,42]。为解决这一问题，模型压缩已成为一个关键的研究任务，而知识蒸馏是一项突出的技术，具有良好的压缩效果和相当的性能[9]。知识蒸馏是一种从预训练的教师网络向学生网络转移知识的方法，使得在部署阶段较小的网络可以取代一个大型教师网络。知识蒸馏通过接收教师网络的知识，可以利用以下方式：1）作为软标签的类别预测[9]；

知识蒸馏（Knowledge distillation，KD）展示了强大的潜力，作为一种强有力的正则化策略，通过利用学习的样本级软目标来提升泛化能力。然而，在现有的知识蒸馏中，使用复杂的预训练教师网络或一组同行学生既耗时又计算成本高昂。已经提出了各种自我蒸馏方法以实现更高的蒸馏效率。然而，它们要么需要额外的网络架构修改，要么难以进行并行化。

知识蒸馏将知识从教师网络传输到学生网络，旨在极大提高学生网络的性能。先前的方法大多集中在提出特征转换和损失函数，用于同一级别特征之间的改进效果。我们不同地研究了教师网络和学生网络之间跨级连接路径的因素，并揭示了其重要性。在知识蒸馏中，我们首次提出了跨阶段连接路径。我们的新的评估机制既有效又结构简单。我们最终设计的嵌套和紧凑框架需要极少的计算开销，在各种任务中表现优于其他方法。我们将我们的方法应用于分类、目标检测和实例分割任务。所有这些任务都显著见证了学生网络性能的提升。

【代码】知识蒸馏dist和KLDiv。

里面有12种最新的知识蒸馏算法。

hard targets的预测结果不科学，因为马和驴比马和汽车相似的多。所以驴和汽车都是0，没有表现出这个信息，所以要用soft targets.第二行和第三行是使用百分之3的训练样本并分别用hard target和soft target，结果显示。soft target使我们常用的概率版的标签值。比如输入下面的图片预测。教师网络预测出的soft target具有很多信息。此时学生网络已经训练好，把X输入到学生网络得到结果。学生网络的输入是教师网络的输出。【精读AI论文】知识蒸馏。最后对这两项加权求和。

说明当学生网络和教师网络训练准确率相差不多时，要给hard_loss权重大一点。

到目前为止，文献中大部分现有的知识蒸馏（KD）方法都是针对小规模基准（例如CIFAR[19]）和小型师生对（例如Res34-Res18[2]和WRN40-WRN16[10]）进行了定制。然而，实际的下游视觉任务[20,21,22]需要对骨干模型进行在大规模数据集（例如ImageNet[23]）上的预训练，以实现最先进的性能水平。仅仅在小规模数据集上探索知识蒸馏（KD）方法可能无法在实际场景中提供全面的理解。