典型常见的基于知识蒸馏的目标检测方法总结二

Bridging Cross-task Protocol Inconsistency for Distillationin Dense Object Detection 该文章提出二元分类蒸馏损失以改进传统的把分类蒸馏直接放入目标检测器中的分类中使用。同时提出了基于IoU的定位蒸馏方法常用的基于softmax的蒸馏忽略了单个类别的绝对分类分数。因此,蒸馏损失的最优并不一定决定密集目标检测器的最优学生分类分数。这种跨任务协议的不一致性至关重要,尤其是对于密集目标检测器,因为前景类别极不平衡。为了解决蒸馏和分类之间的协议差异问题,我们提出了一种新的蒸馏方法,该方法具有跨任务一致性协议,适用于密集目标检测。对于分类蒸馏。 阅读详情
AI摘要

本文汇总了目标检测知识蒸馏的多种方法,包括特征蒸馏、实例蒸馏、标签分配蒸馏等。针对不同场景,如特定目标检测器、异构检测器对、无教师情况等,都有相应的蒸馏方法。还提及了小目标检测中尺度解耦特征蒸馏模块,以解决特征纠缠问题。

来源:https://github.com/LutingWang/awesome-knowledge-distillation-for-object-detection收录的方法

NeurIPS 2017:Learning Efficient Object Detection Models with Knowledge Distillation

在这里插入图片描述

CVPR 2017:Mimicking Very Efficient Network for Object Detection

在这里插入图片描述

Feature Distillation

1)Ground Truth Guided

CVPR 2019:Distilling Object Detectors With Fine-Grained Feature Imitation

使用ground truth和预定义anchor对每个空间位置计算mask,基于mask来引导学生特征向教师特征的学习。

在这里插入图片描述

CVPR 2021:Distilling Object Detectors via Decoupled Features

在这里插入图片描述

将feature-level和classification head-level的特征根据binary mask划分为前景特征和背景特征,对前景特征和背景特征分别使用不同的权重进行解耦蒸馏。

在这里插入图片描述

2)Prediction Guided

NeurIPS 2021:Distilling Object Detectors with Feature Richness

在这里插入图片描述

首先,定义了一种Feature Richness Score,将特征图中的每个(x,y)坐标的预测最大的classification score定义为这个坐标的richness score,从而得到一层W*H的mask,运用这个mask来优化蒸馏学习。

在这里插入图片描述

在此基础上,蒸馏损失分为FPN层面的feature-level Distillation和classification head-level Distillation

在这里插入图片描述
在这里插入图片描述

ECCV 2022:Prediction-Guided Distillation for Dense Object Detection

首先,对于一个特征图上的坐标(x,y),作者定义了一个quality score

在这里插入图片描述
其中b代表一个bounding box,indicator表示如果坐标(x,y)在GT bounding box之内,则为1,如果不属于任何bounding box则为0;

pij(b)表示预测为GT bounding box的正确类别的分类概率,IoU表示预测框与GT框的IoU得分。

然后,作者将每个GT bounding box中quality score排名top-k的pixel取出来,作为集合To,并假设To服从正态分布Tok∼ N(μ,Σ|o),所以可以建模他们的热力图为:

在这里插入图片描述

如果一个像素点是多个排名top-k的bounding box像素点的重叠,那么I取多个重叠数值的最大值,再根据每个I求平均,得到mask矩阵

在这里插入图片描述

总的蒸馏损失分为cls和reg的feature-level的蒸馏,还有cls和reg的attention-level的蒸馏。

feature-level的蒸馏:classification的分支的特征蒸馏分为前景和背景的蒸馏,regression分支的特征蒸馏只考虑前景的蒸馏。

在这里插入图片描述
其中P代表空间注意力,A表示通道注意力,M为前景mask,N为背景mask

Attention-level的蒸馏:classification分支考虑空间注意力和通道注意力的蒸馏,regression分支只考虑前景mask引导的通道注意力的蒸馏

在这里插入图片描述

PR 2023:Task-balanced distillation for object detection

在这里插入图片描述

首先,作者定义了一种Harmonious predictions

pc是每个像素点的预测分类概率值最大的概率
在这里插入图片描述
pr是每个像素点预测的bounding box与GT bounding box的最大IoU得分。

然后作者定义了HS得分,用于平衡两个子任务的预测得分:
在这里插入图片描述
并在此基础上,定义了基于Harmonious的Distillation loss:
在这里插入图片描述
此外,作者更进一步引入了一种动态变化因子dynamic modulation factor,用于为每个空间像素点施加不同的损失权重
在这里插入图片描述

此外,作者提出了Task-decoupled feature distillation

即使用教师模型的pc矩阵和pr矩阵,以及学生模型的pc矩阵和pr矩阵,通过注意力机制学习得到混合的T0矩阵和T1矩阵作为教师模型的pc和pr矩阵特征蒸馏引导的权重矩阵。
在这里插入图片描述

3)Attention Guided

ICLR 2021:Improve Object Detection with Feature-based Knowledge Distillation: Towards Accurate and Efficient Detectors

在这里插入图片描述

Attention-based:

在这里插入图片描述

Relation-based:

在这里插入图片描述

TPAMI 2023: Structured Knowledge Distillation for Accurate and Efficient Object Detection

本论文是 ICLR 2021:Improve Object Detection with Feature-based Knowledge Distillation: Towards Accurate and Efficient Detectors的扩充版本

CVPR 2022:Focal and Global Knowledge Distillation for Detectors

在这里插入图片描述### Focal Distillation:包含基于注意力mask和前景mask和尺度mask的feature-level蒸馏,以及通道和空间注意力的蒸馏。

其中,基于feature-level的特征蒸馏是前景与背景分离的

在这里插入图片描述
其中,Mij为前景mask,1-Mij为背景mask,Sij为尺度mask,As为空间注意力,Ac为通道注意力

Global Distillation:使用GcBlock对特种inquiry全局处理,得到全局的correlation:

在这里插入图片描述

ECCV 2022:GLAMD: Global and Local Attention Mask Distillation for Object Detectors

在这里插入图片描述

联合global和local的Attention Mask,global表示全图,local表示将全图切分为多个patch

在这里插入图片描述
在这里插入图片描述
Mc表示通道注意力机制,Ms表示空间注意力机制

在这里插入图片描述
在这里插入图片描述
Lc表示local的通道注意力机制,Ls表示local的spatial注意力机制

Gc表示global的通道注意力机制,Gs表示global的空间注意力机制

在这里插入图片描述
Tc表示联合local和global的通道注意力机制,Ts表示联合local和global的空间注意力机制

一共三种蒸馏损失:空间和通道注意力蒸馏损失,基于空间和通道注意力mask的特征蒸馏损失,基于空间注意力mask的检测头蒸馏损失

其中,通道注意力蒸馏损失包含global和local两项,空间注意力蒸馏损失只有全局的,因为空间局部注意力与全局注意力等价。
在这里插入图片描述
特征蒸馏损失为基于空间注意力mask矩阵Ts和通道注意力mask矩阵Tc的引导蒸馏
在这里插入图片描述
检测头的蒸馏损失,基于spatial Attention的mask
在这里插入图片描述

在这里插入图片描述

4)Miscellaneous Foreground Masks

ICCV 2021:Channel-wise Knowledge Distillation for Dense Prediction

在这里插入图片描述

使用1X1卷积,把学生特征图的通道数与教师特征图的通道数对齐,然后使用在channel-wise的softmax函数,和温度参数Temperature,把每个通道的特征变为一个总和为1的概率分布,对于每个通道,使用KL散度进行蒸馏损失

在这里插入图片描述
在这里插入图片描述

5)Miscellaneous Feature Distillation

IJCAI 2023:Dual Relation Knowledge Distillation for Object Detection

作者首先解释导致检测任务中蒸馏性能不佳主要有两个关键点:一是前景和背景特征之间存在严重的不平衡,另一个是小目标缺乏足够的特征表示。
为解决上述问题,提出了一种名为双重关系知识蒸馏(DRKD)的新蒸馏方法,它包含像素级关系蒸馏和实例级关系蒸馏。像素级关系蒸馏将像素级特征嵌入图空间,并运用图卷积来捕捉全局像素关系。通过对全局像素关系进行蒸馏,学生检测器能够学习到前景和背景特征之间的关系,并且可以避免因特征不平衡问题而难以直接对特征进行蒸馏的情况。
此外,发现对于小目标而言,实例级关系能为独立特征补充有价值的知识。因此,设计了实例级关系蒸馏,它通过计算不同实例的相似度来获取关系矩阵。更为重要的是,还设计了一个关系过滤模块,用以突出有价值的实例关系。

在这里插入图片描述

Pixel-wise Relation Distillation:将学生和教师模型的特征输入到图卷积模型GloRe来提取global context pixel relation,蒸馏损失函数表示为:

在这里插入图片描述

Instance-wise Relation Distillation:使用RoI Align将每个instance的特征resize到相同的大小。

在这里插入图片描述
一共有N个实例,使用公式(6)来计算两个instance实例si和sj之间的relation,其中g表示全连接层,在这里插入图片描述
使用公式(7)来实现instance-wise relation Distillation
在这里插入图片描述
此外,作者还直接将instance目标实例的feature进行蒸馏,
在这里插入图片描述
总的损失为公式(9)所示:
在这里插入图片描述

Instance Distillation

CVPR 2021:General Instance Distillation for Object Detection

在这里插入图片描述

首先,作者基于教师模型的instance预测和学生模型的instance预测,设计了一个General Instance Selection Module (GISM),该模块的核心是联合教师和学生网络的instance预测,来选择核心的instance进行蒸馏。

在这里插入图片描述
在这里插入图片描述

GI表示筛选出的有价值的预测框集合

Feature-based Distillation:使用RoI Align,将每个GI中的预测框resize为相同大小的特征,L2 距离,GI集合中一共K个目标预测框

在这里插入图片描述

Relation-based Distillation:计算GI bounding boxes中任意两个instance的relation,L2距离

在这里插入图片描述

Response-based Distillation:根据GI bounding box求一个前景mask矩阵M,利用M引导Response-based的蒸馏损失

在这里插入图片描述

总的损失函数

在这里插入图片描述

ICCV 2021:Deep Structured Instance Graph for Distilling Object Detectors

在这里插入图片描述

Structured Instance Graph

将学生模型与教师模型的RoI pooled features构造为Graph结构,其中前景目标的特征和背景目标的特征表示为nodes,目标与目标之间的cosine similarity定义为edges。

Graph Distillation Loss

前景目标的特征蒸馏,背景目标的特征蒸馏,以及边节点之间的特征蒸馏。
在这里插入图片描述

NeurIPS 2021:Instance-Conditional Knowledge Distillation for Object Detection

在这里插入图片描述

Label Assignment Distillation

WACV 2022:Improving Object Detection by Label Assignment Distillation

在这里插入图片描述
把每个anchor或者预测框与教师模型的输出的分类focal loss和1-回归IoU分数之和定义为assignment cost分数。根据这个assignment cost来分配空间的位置坐标来得到一个mask
在这里插入图片描述

Balancing between Tasks

arXiv 2020:Distilling Object Detectors with Task Adaptive Regularization

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

使用Gaussian Mask矩阵Mij来引导feature-level的学习

在这里插入图片描述

分类头的蒸馏学习:把教师的yt作为引导,

在这里插入图片描述

回归头的蒸馏学习:只蒸馏教师预测与GT的IoU大于学生预测与GT的IoU的情况

在这里插入图片描述

ICCV 2023:Bridging Cross-task Protocol Inconsistency for Distillation in Dense Object Detection

在这里插入图片描述

Binary Classification Distillation Loss:把每个instance的logits map的每个概率item使用sigmoid激活,然后把每个item和1-item的数值作为二分类的概率,来进行BCE的蒸馏损失。

在这里插入图片描述

IoU-based Localization Distillation Loss:w指的是公式(7)中的教师模型与学生模型的预测分类损失的绝对差值,作为1-IoU蒸馏损失的权重,IoU表示教师模型与学生模型的预测框的IoU

在这里插入图片描述

Miscellaneous Knowledge Distillation for General Object Detectors

AAAI 2022:Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-Guided Feature Imitation

在这里插入图片描述

Rank Mimicking:把每个instance的所有正样本anchor的预测正确类别的分数s使用softmax得到一个分布,对教师和学生的M个instance的分布进行KL散度蒸馏。

在这里插入图片描述

Prediction-Guided Feature Imitation:基于教师与学生的prediction的差异矩阵作为过滤mask,来引导特征的蒸馏学习。

在这里插入图片描述

NeurIPS 2022:Structural Knowledge Distillation for Object Detection

在这里插入图片描述

考虑到特征蒸馏的L2损失的不足之处,引入将局部patch特征建模为均值矩阵u,方差矩阵σ,还有协方差矩阵σST。参照SSIM定义亮度比较函数,对比度比较函数,结构比较函数

在这里插入图片描述

基于l,c,s定义SSIM蒸馏损失来引导学生与教师模型的结构化的特征蒸馏

在这里插入图片描述

CVPR 2024:CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection

在这里插入图片描述作者发现直接模仿教师模型的预测会面临目标冲突问题,这阻碍了预测模仿取得良好的性能。为缓解这一问题,在本节中我们提出了一种新颖的跨头部知识蒸馏(CrossKD)方法。整体框架如图 4 所示。与许多先前的预测模仿方法一样,我们的跨头部知识蒸馏(CrossKD)也是针对预测进行蒸馏过程。不同的是,跨头部知识蒸馏(CrossKD)将学生模型的中间特征传递到教师模型的检测头部,并生成跨头部预测来进行蒸馏。
给定一个密集型检测器,例如 RetinaNet [39],每个检测头部通常由一系列卷积层构成,用 {Cᵢ} 表示。为简便起见,我们假设每个检测头部共有 n 个卷积层(例如,在具有 4 个隐藏层和 1 个预测层的 RetinaNet 中为 5 个)。我们使用 fᵢ(i∈{1, 2,・・・, n - 1})来表示由 Cᵢ产生的特征图,并用 f₀表示 C₁的输入特征图。预测结果 p 是由最后一个卷积层 Cₙ生成的。因此,对于给定的一对教师模型和学生模型,教师模型和学生模型的预测结果可分别表示为 pₜ和 pₛ。

在这里插入图片描述

Knowledge Distillation for Specific Object Detectors

1)Knowledge Distillation for GFL

CVPR 2022:Localization Distillation for Dense Object Detection

在本文中,通过重新构建定位方面的知识蒸馏流程,我们提出了一种新颖的定位蒸馏(LD)方法,该方法能够有效地将定位知识从教师模型传递到学生模型。此外,我们还启发式地引入了 “有价值定位区域” 这一概念,它有助于针对特定区域选择性地提取语义和定位知识。
将这两个新要素相结合,我们首次证明了模仿对数几率(logit)能够超越特征模仿,并且对于目标检测器的蒸馏而言,定位知识蒸馏比语义知识蒸馏更为重要且更高效。我们的蒸馏方案既简单又有效,能够轻松应用于不同的密集目标检测器。

将每个空间特征图的坐标(x,y)预测的bounding box的坐标的预测偏移的四个元素所组成的所有大集合,运用softmax转换为正态分布的四个正态分布,然后对正态分布之后的概率数值使用KL散度进行localization的回归知识蒸馏

在这里插入图片描述

提出了有价值的Valuable Localization Region,计算预定义anchor和GT的DIoU,设定一个区间,选择有价值的localization区域。

在这里插入图片描述

Overall Distillation Process:第一部分表示目标检测的任务损失;第二部分表示整体特征图的分类logist的KL散度和回归的softmax的正态分布KL散度,第三部分表示有价值区域的分类logist的KL散度和回归的softmax的正态分布KL散度,

在这里插入图片描述

2)Knowledge Distillation for DETR

ICCV 2023:DETRDistill: A Universal Knowledge Distillation Framework for DETR-families

基于 Transformer 的检测器(DETR,Detection Transformer)因其架构简洁而日益受到青睐,但其模型体积庞大且耗时较长,这阻碍了它们在现实世界中的部署应用。而知识蒸馏(KD)是一种颇具吸引力的技术,它可将大型检测器压缩为小型检测器,同时能保持相近的检测性能并降低推理成本。由于 DETR 将目标检测构建为一个集合预测问题,现有的为经典的基于卷积的检测器所设计的知识蒸馏方法可能无法直接适用。
在本文中,我们提出了 DETRDistill,这是一种专门针对 DETR 系列的新型知识蒸馏方法**。具体而言,我们首先设计了一种匈牙利匹配对数几率蒸馏方法,以促使学生模型做出与教师 DETR 模型完全相同的预测**。然后,我们提出了一种目标感知特征蒸馏方法,帮助学生模型学习教师模型中以目标为中心的特征。最后,为了提高学生 DETR 模型的收敛速度,我们引入了一种查询先验分配蒸馏方法,以加速学生模型从训练良好的查询以及教师模型稳定的分配中进行学习。在 COCO 数据集上进行的大量实验结果验证了我们所提方法的有效性。值得注意的是,DETRDistill 能使各类 DETR 模型的平均精度(mAP)持续提升 2.0 以上,甚至超过了它们对应的教师模型。
在这里插入图片描述

针对于DETR与常见目标检测模型不同的问题,作者提出了基于DETR的知识蒸馏方法。

Target-aware Feature Distillation:对于特征的蒸馏,作者使用教师预测的Query和教师预测的ci and bpredi denote the classification score and the predicted box from the i-th teacher’s query来作为mask优化特征的蒸馏:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hungarian-matching Logits Distillation:对于prediction的输出,作者使用匈牙利的bipartite match-cost loss来优化positive query和negative query的输出:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Query-prior Assignment Distillation:对于learnable Query的蒸馏,作者使用教师的assignment 参数来生成学生的预测,并于教师的query做匈牙利匹配的match蒸馏损失

在这里插入图片描述

arXiv 2022:D3ETR: Decoder Distillation for Detection Transformer

在这里插入图片描述

作者对于DETR的transformer decoder部分进行蒸馏。作者设计了两个分支,第一个分支是adaptive分支,第二个辅助分支是fixed分支。fixed分支是将教师的query作为输入到学生模型中得到的输出。对于每一个分支,蒸馏损失分为self-attention矩阵的蒸馏,cross-attention矩阵的蒸馏,以及prediction的蒸馏。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

CVPR 2024:KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling

在这里插入图片描述

由于不同的基于DETR的目标检测模型自适应学习的object queries是不同的,直接对object query进行一对一的知识蒸馏,会导致inconsistent,并导致图像性能衰减。因此,作者对query进行选择,作者将学生的query固定并在每个iteration中进行重采样,将教师模型的query直接拿过来用于学生模型的specific query。并将query输入教师模型得到最大的分类预测概率输出作为Distillation的weights

在这里插入图片描述

Knowledge Distillation for Heterogeneous Object Detector Pairs

ICCV 2021:G-DetKD: Towards General Distillation Framework for Object Detectors via Contrastive and Semantic-guided Feature Imitation

提出了一个general的KD目标检测方法,distilling knowledge for both homogeneous and heterogeneous detectors pairs,核心贡献有两点,包含Semantic Guided Feature Imitation (SGFI)和Exploiting Region Relationship with Contrastive KD (CKD)

Semantic Guided Feature Imitation (SGFI)

在这里插入图片描述
考虑到学生网络的FPN特征有多层,教师网络的FPN网络有多层。各层之间的关系都需要被探索。作者提出了一种SGFI来探索多层学生与多层教师特征层的关系。

目标相似性计算是目标proposal或者instance实例级别的RoI特征,首先,作者通过特征拼接把学生模型的FPN所有stage的对应于RoI的特征拼接得到Si属于LxHxWxC, 其中L表示FPN的level层总数。然后通过embed转换为NLxCkey的矩阵,同时教师的RoI分配到FPN特定stage的特征Ti也通过embed编码为1xCkey的矩阵,通过两个矩阵相乘和softmax操作得到一个NLx1的相似性矩阵,然后与学生各层FPN的RoI对应特征加权相加得到学生的聚合特征Sagg,使用MSE loss对Sagg和教师RoI特征Ti进行知识蒸馏,公式表达为:
在这里插入图片描述

Exploiting Region Relationship with Contrastive KD (CKD):对比学习,教师和学生模型对于同一个instance的RoI feature为positive samples,教师和学生模型的不同instance的RoI feature属于negative samples,然后视同InfoNCE loss来最小化positive samples的距离,最大化negative samples的距离,定义样本特征的距离为cosine similarity的e指数

在这里插入图片描述

由于anchor具有很大的冗余性,空间上会出现特征重叠,所以如果将IoU耦合在一起的重叠的anchor分配为negative samples。如果强行将这些有IoU重叠的proposal拉远他们的距离,会导致 instability during training。因此作者使用IoU阈值来过滤highly overlapping的proposal boxes

proposal with large overlaps may contain similar semantics, thus pushing them away may cause instability during training.

ECCV 2022:HEAD: HEtero-Assists Distillation for Heterogeneous Object Detectors

传统的目标检测知识蒸馏(KD)方法主要聚焦于同构的教师 — 学生检测器。然而,为部署而设计的轻量级检测器往往与大容量检测器存在显著差异。因此,我们针对异构的教师 — 学生对之间的知识蒸馏进行研究,以使其能得到广泛应用。
我们发现异构知识蒸馏(hetero-KD)的核心难点在于,由于优化方式不同,异构检测器的主干特征之间存在显著的语义差异。传统的同构知识蒸馏(homo-KD)方法受此差异影响,很难直接在异构知识蒸馏中获得令人满意的性能。

在本文中,我们提出了异构辅助蒸馏(HEtero-Assists Distillation,HEAD)框架,利用异构检测头作为辅助来引导学生检测器的优化,以缩小这一差异。在 HEAD 框架中,辅助部件是一个附加的检测头,其架构与教师检测头同构,并连接到学生检测器的主干网络上。这样一来,异构知识蒸馏就被转换为同构知识蒸馏,从而能够实现从教师模型到学生模型的高效知识传递。

此外,当没有经过良好训练的教师检测器可用时,我们将 HEAD 框架扩展为无教师 HEAD(Teacher-Free HEAD,TF-HEAD)框架。与当前的检测知识蒸馏方法相比,我们的方法取得了显著的改进
在这里插入图片描述

提出了Assistant Head,考虑学生和教师模型的架构是异构的,给学生添加一个和teacher同构的检测头。

对于教师和学生的同类检测头,作者设计了Assistant-based KD,LA损失包含Assistant-Head的学生检测头损失,还有教师head和学生Assistant head的多层级检测头特征的MSE蒸馏loss

在这里插入图片描述

对于教师和学生的异构检测头,作者采样每个RoI的特征,与教师和学生对应的anchor features对应的部分进行MSE蒸馏损失。

在这里插入图片描述

NeurIPS 2022:PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient

在这里插入图片描述

作者使用1-PCC系数分数来考虑教师模型与学生模型之间的correlation作为蒸馏损失

在这里插入图片描述

Teacher Free Knowledge Distillation for Object Detectors

ECCV 2020:MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection

在本文中,我们提出了 MimicDet,这是一种新颖且高效的框架,旨在通过直接模仿双阶段特征来训练单阶段检测器,以缩小单阶段和双阶段检测器之间的精度差距。与传统的模仿方法不同,MimicDet 为单阶段和双阶段检测器设置了一个共享主干网络,然后分支为两个检测头,它们经过精心设计,具备可相互模仿的兼容特征。因此,MimicDet 能够进行端到端的训练,无需对教师网络进行预训练。而且成本并没有大幅增加,这使得采用大型网络作为主干网络变得切实可行。
我们还进行了几项专门的设计,比如
双路径模仿(conduct mimicking in classification and regression branches individually)和交错式特征金字塔(obtains high-resolution features for T-head and low-resolution features for Shead from different layers of the feature pyramid)
,以促进模仿过程。在极具挑战性的 COCO 检测基准数据集上进行的实验证明了 MimicDet 的有效性。在 COCO 测试开发集上,采用 ResNeXt-101 作为主干网络时,它实现了 46.1 的平均精度(mAP),显著超越了当前的先进方法。

在这里插入图片描述

ECCV 2020:LabelEnc: A New Intermediate Supervision Method for Object Detection

在本文中,我们提出了一种新的中间监督方法,名为标签编码(LabelEnc),旨在促进目标检测系统的训练。其核心思路是引入一种新颖的标签编码函数Anto-Encoder,将真实标签映射到潜在嵌入空间,在训练期间作为对检测主干网络的一种辅助性中间监督手段。
我们的方法主要涉及一个两步式的训练流程。首先,我们通过在标签空间中定义的一个自动编码器来优化标签编码函数,以此来逼近目标目标检测器的 “理想” 中间表示形式。其次,利用已学习到的标签编码函数,我们为检测主干网络引入了一种新的辅助损失,从而提升派生检测器的性能。
实验表明,我们的方法能使多种目标检测系统在 COCO 数据集上的性能提升约 2%,无论是单阶段还是双阶段框架均是如此。而且,这些辅助结构仅在训练期间存在,也就是说,在推理阶段完全不会产生额外成本。

在这里插入图片描述

First, to learn the label encoding function, we train an AutoEncoder architecture, embedding the ground-truth labels into the latent space according to the (approximated) optimal detection head
Second, with the help of the learned label encoding function, we optimize Eq. 2 under the auxiliary supervision R(f(I; θf ), y) and detection loss function.

AAAI 2022:LGD: Label-Guided Self-Distillation for Object Detection

在这里插入图片描述

Label-appearance Encoder:将一个object instance的label的坐标信息和类别信息使用PointNet编码为一个256维度的intermediate feature dimension,

Appearance Encoder把每个object的特征使用mask矩阵提取出来

Inter-Object Relation Adapter:使用cross-attention,把每个目标的appearance embedding作为query,label embedding作为key和value

在这里插入图片描述
在这里插入图片描述
最后得到所有object的interacted embeddings
在这里插入图片描述

Intra-object Knowledge Mapper:通过非线性变换整合所有object的interacted embeddings为一个整体向量XpI,与原网络自身的输入通过adapt调整之后的特征XpS进行知识蒸馏。

在这里插入图片描述

总的损失函数:Xl接入检测头做目标检测损失,原网络的X接入目标检测头做检测损失,加上Ldistill蒸馏损失

在这里插入图片描述

ICCV 2023:Spatial Self-Distillation for Object Detection with Inaccurate Bounding Boxes

由于高质量标注数据获取成本高昂,或者偶尔不可避免地会出现标注质量较低(例如微小目标)的情况,通过不精确边界框监督进行目标检测引起了广泛关注。以往的工作通常利用高度依赖类别信息的多示例学习(MIL)来选择并优化低质量的边界框。这些方法由于没有挖掘空间信息,存在目标偏移、群体预测以及局部主导等问题。
在本文中,我们启发式地提出了一种基于空间自蒸馏的目标检测器(Spatial Self-Distillation based Object Detector,SSD-Det),通过挖掘空间信息以自蒸馏的方式来优化不精确的边界框。SSD-Det 利用空间位置自蒸馏(Spatial Position Self-Distillation,SPSD)模块来挖掘空间信息,并采用一种交互结构将空间信息与类别信息相结合,从而构建出一个高质量的候选框集合。为进一步改进选择流程,SSD-Det 中引入了空间一致性自蒸馏(Spatial Identity Self-Distillation,SISD)模块,以获取空间置信度来帮助选出最佳的候选框。在带有噪声边界框标注的 MS-COCO 和 VOC 数据集上进行的实验验证了我们方法的有效性,并且该方法取得了当前最先进的性能。

Miscellaneous

CVPR2023:ScaleKD: Distilling Scale-Aware Knowledge in Small Object Detector

提出了cross-resolution的 目标检测知识蒸馏方法,将high-resolution输入的图像训练的检测器视为teacher,将low-resolution输入的图像训练的检测器视为student

在这里插入图片描述

尽管用于目标检测的前沿知识蒸馏(KD)方法已经开发出了诸如焦点蒸馏 [41] 等各种各样的技术,以提升所传递知识的质量,但这类方法在蒸馏过程中对所有大小各异的目标一视同仁。我们发现这些方法在小目标检测(SOD)方面的关键缺陷在于,不同目标的特征表示相互纠缠。当目标尺寸不小时,这是一种可行的解决方案。然而,在检测任务中目标的尺寸差异很大。小目标的特征表示可能会受到大面积背景以及其他尺寸相对较大的实例的干扰。为解决这一问题,我们提出了一个尺度解耦特征(Scale-Decoupled Feature,SDF)蒸馏模块,用以明确地对教师模型的特征图进行解耦。

在这里插入图片描述

Scale-Decoupled Feature Distillation Module:使用一个MLP和ResNet block和一个MLP来作为一个branch,其中ResNet block中3x3卷积的dilation rate可以分为1,2,3,这样就组成了三个branchs,这三个branchs共享一个权重,之前的MLP用于对齐学生和教师的特征维度,之后的MLP用于压缩特征,最后,三个branch的特征拼接在一起,并用L2损失作为蒸馏

Cross-Scale Assistant:教师模型特征做QK,学生模型特征做V,特征在classification和regression branches上进行。

在这里插入图片描述

目标检测中的知识蒸馏方法 知识蒸馏 知识蒸馏指的是模型压缩的思想,用压缩之前的模型作为老师,压缩之后的模型作为学生,通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后,通过尝试复制大网络在每一层的输出(不仅仅是最终的损失),小网络被训练以学习大网络的准确行为。 ........................... 阅读详情

相关推荐

CVPR2024知识蒸馏Distillation论文49篇速通

CVPR2024知识蒸馏论文专区速览49篇

weixin_44287798的博客 6051

YOLOv5目标检测之知识蒸馏实战

PyTorch版的YOLOv5是一个当前非常流行的目标检测器,本课程对YOLOv5进行知识蒸馏实战,来提升其性能。知识蒸馏(Knowledge Distillation)是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息,来训练一个轻量化小模型,使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上,这个大模型称之为教师模型,小模型称之为学生模型。来自教师模型输出的监督信息称之为Knowledge(知识),而学生网络学习迁移来自教师网络的监督信息的过程称之为Distillation(蒸馏)。本课程在YOLOv5 v6.1版本代码的基础上增加知识蒸馏方法,并实际演示针对自己的数据集训练和进行知识蒸馏过程,并讲解原代码针对知识蒸馏的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括:知识蒸馏的基础知识、目标检测中知识蒸馏的方法。实战篇包括:PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、训练学生网络(Yolov5s)、训练教师网络(训练YOLOv5m)、知识蒸馏训练。代码讲解篇包括:知识蒸馏具体修改代码的讲解。

典型常见的基于知识蒸馏的目标检测方法总结三

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型(PVLM)中提取知识并将其转移到检测器中。然而,由于非自适应的提议裁剪和单层级特征模仿过程,它们在知识提取过程中存在信息破坏问题,并且知识转移效率低下。为了弥补这些局限性,我们提出了一个对象感知蒸馏金字塔(Object-Aware Distillation Pyramid,OADP)框架,包括一个。

practical_sharp的博客 2570

目标检测——结构化知识蒸馏

在过去十年中,卷积神经网络(CNNs)已证明是解决基本计算机视觉任务的非常有效的工具。神经网络的一个主要应用包括自动驾驶汽车中的实时感知系统,其中目标检测通常是一项非常重要的任务。然而,将CNNs部署到实时应用程序中会对内存和延迟造成严格限制。另一方面,最先进的检测器的性能提高通常伴随着内存需求和推理时间的增加。因此,网络模型的选择及其相应的检测性能受到严格限制。已经提出了几种技术来解决这个问题,例如剪枝权重量化参数预测和知识蒸馏(KD)。

@bangbang的博客 1796

典型常见的基于知识蒸馏的目标检测方法总结一

使用feature propagation layer [29]将voxel特征转换为point feature。

practical_sharp的博客 2077

CVPR2022知识蒸馏用于目标检测:Focal and Global Knowledge Distillation for Detectors

论文下载:https://arxiv.org/abs/2111.11837 源码下载:https://github.com/yzd-v/FGD Abstract 知识蒸馏已成功应用于图像分类。然而目标检测要复杂得多,大多数知识蒸馏方法都失败了。本文指出,在目标检测中,教师和学生的特征在不同的区域有很大的差异,尤其是在前景和背景中。如果我们平均蒸馏它们,特征图之间的不均匀差异将对蒸馏产生负面影响。因此,我们提出了局部和全局蒸馏(FGD)。局部蒸馏分离了前景和背景,迫使学生将注意力集中在老师的关键像素和通

weixin_42390283的博客 1万+

【目标检测】YOLOv5遇上知识蒸馏

本文主要来研究知识蒸馏的相关知识,并尝试用知识蒸馏的方法对YOLOv5进行改进。

兴趣使然的创作者 1万+

知识蒸馏简介(Knowledge Distillation)

知识蒸馏的背景,概念,知识传递形式,不同蒸馏方法的优缺点,例子的相关介绍

qq_46684028的博客 1万+

揭秘AI人工智能目标检测的基于知识蒸馏的目标检测

目标检测作为计算机视觉领域的核心任务之一,旨在识别图像或视频中目标对象的类别和位置。在实际应用中,对目标检测模型的精度和效率都有较高要求。然而,高精度的目标检测模型通常具有较大的参数量和计算量,这在资源受限的设备上难以部署。基于知识蒸馏的目标检测技术应运而生,其目的是在保证一定检测精度的前提下,压缩模型大小,提高推理速度。本文的范围将涵盖基于知识蒸馏的目标检测技术的原理、算法、代码实现、实际应用等多个方面。

大模型应用工坊 870

知识蒸馏研究综述

知识蒸馏综述阅读

LiuAmber的博客 3863

AAAI 2022:基于锚框排序的目标检测知识蒸馏|AI Drive

「AI Drive」是由 biendata 和 PaperWeekly 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义,从而产生更大的价值。 知识蒸馏是模型压缩的有效手段,但是目标检测网络的知识蒸馏方法却很少被研究。 传统的soft label蒸馏,在目标检测任务上基本没有提升。基于这个发现,南京理工大学计算机学院博士李钢和他的团队提出了一种适用于目标检测的锚框排序蒸馏,充分利用了检测网络..

shujushizhanpai的博客 3027

yolov8(目标检测、图像分割、关键点检测)知识蒸馏:logit和feature-based蒸馏方法的实现

支持yolov8检测、分割、关键点任务的知识蒸馏,并对蒸馏代码进行详解,比较容易上手。蒸馏方式多种,支持logit和feature-based蒸馏以及在线蒸馏。

weixin_51988935的博客 6087

[论文阅读]CWD——基于稠密预测的通道式知识蒸馏

CWD论文解读

qq_53909832的博客 2万+

基于YOLOv4的目标检测知识蒸馏算法研究

1)提出多尺度的注意力蒸馏算法 ,指导学生网络的输出使其接近于教师网络的输出,进一步对学生网络生成的特征图进行指导训练,使其能够学习到与教师网络相似的、不同尺度的特征编码方式,从而提高学生网络的检测性能;2)在特征提取层 、目标分类与边框预测上都利用教师网络的“知识 ”指导学生网络训练。提出多尺度像素注意模块(mPAM)来构造特征提取网络的特征注意力图,并同时在目标分类与边框预测上展开蒸馏。

weixin_50094312的博客 1184

一文详解什么是知识蒸馏

在蒸馏过程中,将相同输入同时输入教师模型和学生模型,教师模型为学生模型提供知识指导,通过最小化学生模型输出与教师模型输出之间的差异(如使用交叉熵损失、均方误差损失等),优化学生模型参数,使学生模型学习教师模型的知识。教师模型训练过程中,能学习到数据中的“暗知识”,如数据分布规律、特征之间的隐含关系等。它通过将一个复杂的大模型(称为教师模型,Teacher Model)的知识转移到一个较小的模型(称为学生模型,Student Model)中,使得学生模型在保持较小规模的同时,能够尽可能地接近教师模型的性能。

Python栈 2554

目标检测网络的知识蒸馏

"Learning Efficient Object Detection Models with Knowledge Distillation"这篇文章通过知识蒸馏(Knowledge Distillation)与Hint指导学习(Hint Learning),提升了主干精简的多分类目标检测网络的推理精度(文章以Faster RCNN为例),例如Faster RCNN-Alexnet、Faster...

AI Flash 1万+

基于知识蒸馏的跨模态目标检测方法总结

由于类别的概率预测所蕴含的知识量比较少,所以作者使用对比知识蒸馏,对分类logits之前的特征Hs,Ht进行对比蒸馏,回归蒸馏Lbox还是采取L1损失事件相机因其独特的性能,如低延迟和高动态范围,正日益受到欢迎。在实时物体检测这一任务中,这些优势可能至关重要。然而,由于事件数据的稀疏性以及视觉细节的缺失,RGB 探测器的性能仍然优于基于事件的探测器。在本文中,我们提出了一种跨模态特征蒸馏方法,该方法能够聚焦于知识蒸馏效果最佳的区域,以缩小这两种模态之间在检测性能上的差距。我们通过使用一种。

practical_sharp的博客 3127

什么是特征蒸馏?什么是知识蒸馏?

​​特征蒸馏是一种知识迁移方法,它将教师模型在中间层学到的特征表示(如语义、结构、上下文信息)迁移到学生模型中,让学生模型不仅学会“做什么”(输出),还学会“怎么看”(特征),从而提升整体性能。​​。

m0_74027860的博客 2430
上一篇: 典型常见的基于知识蒸馏的目标检测方法总结一
下一篇: 典型常见的基于知识蒸馏的目标检测方法总结三
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值