典型常见的基于知识蒸馏的目标检测方法总结二

来源：https://github.com/LutingWang/awesome-knowledge-distillation-for-object-detection收录的方法

NeurIPS 2017：Learning Efficient Object Detection Models with Knowledge Distillation

CVPR 2017：Mimicking Very Efficient Network for Object Detection

Feature Distillation

1）Ground Truth Guided

CVPR 2019：Distilling Object Detectors With Fine-Grained Feature Imitation

使用ground truth和预定义anchor对每个空间位置计算mask，基于mask来引导学生特征向教师特征的学习。

CVPR 2021：Distilling Object Detectors via Decoupled Features

将feature-level和classification head-level的特征根据binary mask划分为前景特征和背景特征，对前景特征和背景特征分别使用不同的权重进行解耦蒸馏。

2）Prediction Guided

NeurIPS 2021：Distilling Object Detectors with Feature Richness

首先，定义了一种Feature Richness Score，将特征图中的每个(x，y)坐标的预测最大的classification score定义为这个坐标的richness score，从而得到一层W*H的mask，运用这个mask来优化蒸馏学习。

在此基础上，蒸馏损失分为FPN层面的feature-level Distillation和classification head-level Distillation

ECCV 2022：Prediction-Guided Distillation for Dense Object Detection

首先，对于一个特征图上的坐标(x,y)，作者定义了一个quality score

其中b代表一个bounding box，indicator表示如果坐标(x,y)在GT bounding box之内，则为1，如果不属于任何bounding box则为0；

pij(b)表示预测为GT bounding box的正确类别的分类概率，IoU表示预测框与GT框的IoU得分。

然后，作者将每个GT bounding box中quality score排名top-k的pixel取出来，作为集合To，并假设To服从正态分布Tok∼ N(μ,Σ|o)，所以可以建模他们的热力图为：

如果一个像素点是多个排名top-k的bounding box像素点的重叠，那么I取多个重叠数值的最大值，再根据每个I求平均，得到mask矩阵

总的蒸馏损失分为cls和reg的feature-level的蒸馏，还有cls和reg的attention-level的蒸馏。

feature-level的蒸馏：classification的分支的特征蒸馏分为前景和背景的蒸馏，regression分支的特征蒸馏只考虑前景的蒸馏。

其中P代表空间注意力，A表示通道注意力，M为前景mask，N为背景mask

Attention-level的蒸馏：classification分支考虑空间注意力和通道注意力的蒸馏，regression分支只考虑前景mask引导的通道注意力的蒸馏

PR 2023：Task-balanced distillation for object detection

首先，作者定义了一种Harmonious predictions

pc是每个像素点的预测分类概率值最大的概率

pr是每个像素点预测的bounding box与GT bounding box的最大IoU得分。

然后作者定义了HS得分，用于平衡两个子任务的预测得分：

并在此基础上，定义了基于Harmonious的Distillation loss：

此外，作者更进一步引入了一种动态变化因子dynamic modulation factor，用于为每个空间像素点施加不同的损失权重

此外，作者提出了Task-decoupled feature distillation

即使用教师模型的pc矩阵和pr矩阵，以及学生模型的pc矩阵和pr矩阵，通过注意力机制学习得到混合的T0矩阵和T1矩阵作为教师模型的pc和pr矩阵特征蒸馏引导的权重矩阵。

3）Attention Guided

ICLR 2021：Improve Object Detection with Feature-based Knowledge Distillation: Towards Accurate and Efficient Detectors

Attention-based：

Relation-based：

TPAMI 2023： Structured Knowledge Distillation for Accurate and Efficient Object Detection

本论文是 ICLR 2021：Improve Object Detection with Feature-based Knowledge Distillation: Towards Accurate and Efficient Detectors的扩充版本

CVPR 2022：Focal and Global Knowledge Distillation for Detectors

### Focal Distillation：包含基于注意力mask和前景mask和尺度mask的feature-level蒸馏，以及通道和空间注意力的蒸馏。

其中，基于feature-level的特征蒸馏是前景与背景分离的