weixin_44967646的博客

一.知识蒸馏 1.简介 知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法。 该方法使用教师网络（复杂模型）诱导学生网络（简单模型），将已训练好的模型中包含的知识（模型训练参数），”蒸馏“提取到另一个模型去，以实现知识迁移。 2.背景及应用 大模型的参数很多，需要消耗大量计算资源。由于内存、显存限制，采用大模型做推理，速度慢，成本高，不方便部署到服务端上，因此如何将模型压缩成为了一个重要的问题。而知识蒸馏就是诸多模型压缩方法的一种。 由知识蒸馏产生的轻量级学生网络可以轻松部署在视觉识别，