典型常见的基于知识蒸馏的目标检测方法总结三

原创

已于 2025-01-01 04:14:36 修改 · 2.2k 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#目标检测 #目标跟踪 #人工智能

于 2024-12-29 09:30:19 首次发布

来源：Google学术2023-2024的顶会顶刊论文

NeurIPS 2022：Towards Efficient 3D Object Detection with Knowledge Distillation

为3D目标检测提出了一种知识蒸馏的Benchmark范式，包含feature的KD，Logit的cls和reg的KD，还有label KD。

在这里插入图片描述

feature的KD：instance-level的RoI feature的蒸馏

在这里插入图片描述

Logit KD：使用教师的classification和regression与学生的输出进行蒸馏

在这里插入图片描述

Label KD：将教师模型的预测和GT的标签作为混合label，与学生的输出的logits进行蒸馏

在这里插入图片描述

Total Distillation loss function

在这里插入图片描述

WACV 2021：Data-free Knowledge Distillation for Object Detection

我们提出了用于目标检测的深度反演（DeepInversion for Object Detection，DIODE），以实现无需数据支持的知识蒸馏，适用于经过目标检测任务训练的神经网络。从无需数据的角度来看，DIODE仅基于一个现成的预训练检测网络，无需任何先验领域知识、生成器网络或预计算激活值，即可合成图像。DIODE依赖于两个关键组件：首先，一套广泛的可微分增强技术，用于提高图像保真度和蒸馏效果；其次，一种新颖的自动边界框和类别采样方案，用于图像合成，从而生成大量具有多样化空间和类别目标的图像。生成的图像使得从教师检测器到学生检测器的知识蒸馏成为可能，且学生检测器是从零开始初始化的。

在一系列广泛的实验中，我们证明了DIODE能够匹配原始训练分布，从而始终比分布外的代理数据集实现更有效的知识蒸馏。在无需数据的设置中，由于缺乏原始领域知识，分布外的代理数据集不可避免地会出现，而DIODE则有效解决了这一问题。

在这里插入图片描述

NeurIPS 2021：Instance-Conditional Knowledge Distillation for Object Detection

在这里插入图片描述

将instance的GT坐标信息和类别信息通过instance encoder和MLP编码成learnable embedding作为cross-attention的query

在这里插入图片描述

从教师网络的FPN的多尺度表征特征整合为AT，从AT从中key和vuale，联合GT的信息编码为query进行cross-Attention，最后(mij, VTj)作为instance-conditional Knowledge

在这里插入图片描述

Instance-Conditional Distillation

在这里插入图片描述

Auxiliary Task

TPAMI 2023：Structured knowledge distillation for accurate and efficient object detection

在这里插入图片描述

NeurIPS 2022：Structural Knowledge Distillation for Object Detection

使用1-SSIM loss作为衡量教师模型与学生模型的特征差异

在这里插入图片描述

AAAI 2022：Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-Guided Feature Imitation

在这里插入图片描述

CVPR 2021：General Instance Distillation for Object Detection

General Instance Selection Module：学习General Instance 集合

在这里插入图片描述

Feature-based Distillation：对GI集合中的instance进行RoI Align之后做特征蒸馏

在这里插入图片描述

Relation-based Distillation：对GI集合中做correlation Distillation

在这里插入图片描述

Response-based Distillation：对GI集合中的instance学习mask掩码矩阵M，进行Response logits蒸馏

在这里插入图片描述

ICCVW 2021：Photon-Limited Object Detection using Non-local Feature Matching and Knowledge Distillation

在这里插入图片描述

提出对photon-abundant的目标检测器进行训练作为教师模型，对photon-limited的目标检测器作为学生模型，来增强低光条件下的目标检测

在这里插入图片描述

CVPR 2023：Object-Aware Distillation Pyramid for Open-Vocabulary Object Detection

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型（PVLM）中提取知识并将其转移到检测器中。然而，由于非自适应的提议裁剪和单层级特征模仿过程，它们在知识提取过程中存在信息破坏问题，并且知识转移效率低下。

为了弥补这些局限性，我们提出了一个对象感知蒸馏金字塔（Object-Aware Distillation Pyramid，OADP）框架，包括一个对象感知知识提取（Object-Aware Knowledge Extraction，OAKE）模块和一个蒸馏金字塔（Distillation Pyramid，DP）机制。在从 PVLM 中提取对象知识时，前者自适应地变换对象提议，并采用对象感知掩膜注意力来获取精确而完整的对象知识。后者引入全局蒸馏和块蒸馏以实现更全面的知识转移，从而弥补对象蒸馏中缺失的关系信息。
在这里插入图片描述

Object-Aware Knowledge Extraction (OAKE) module

Distillation Pyramid：Object Distillation，Global Distillation，Block Distillation，都是L1 loss，其一从Faster RCNN出来，其二从CLIP中出来

CVPR 2021：Distilling object detectors via decoupled features

在这里插入图片描述

把图片划分为前景object区域和背景background区域，根据mask来划分，对前景和背景分别对特征和分类logits进行蒸馏

在这里插入图片描述

CVPR 2023：itKD: Interchange transfer-based knowledge distillation for 3d object detection

在这里插入图片描述
在本文中，我们首先提出了一种自动编码器风格的框架，该框架通过基于交换转移的知识蒸馏实现通道级压缩和解压缩。为了学习教师网络的地图视图特征，教师网络和学生网络的特征分别独立地通过共享自动编码器；在此，我们使用一种压缩表示损失，它将来自学生网络和教师网络的通道级压缩知识作为一种正则化约束。解压缩后的特征沿相反方向进行转移，以缩小交换重建中的差距。最后，我们提出了一种头部注意力损失，以匹配由多头自注意力机制提取的三维目标检测信息。通过大量实验，我们验证了我们的方法能够训练出与三维点云检测任务高度适配的轻量级模型，并使用知名公共数据集（如 Waymo 和 nuScenes）证明了其优越性。