典型常见的基于知识蒸馏的目标检测方法总结一

TPAMI 2023:When Object Detection Meets Knowledge Distillation: A Survey 目标检测(Object Detection,OD)是计算机视觉中的一项关键任务,多年来涌现出了众多算法和模型。尽管当前 OD 模型的性能有所提升,但它们也变得更加复杂,由于参数规模庞大,在工业应用中并不实用。为解决这一问题,2015 年知识蒸馏(Knowledge Distillation,KD)技术被提出用于图像分类,随后因其能够将复杂教师模型所学知识转移到轻量级学生模型中,而被扩展到其他视觉任务。**本文对近年来基于 KD 的 OD 模型进行了全面综述,旨在为研究人员提供该领域近期进展的概述。 阅读详情
AI摘要

该博客总结了多篇论文中目标检测与知识蒸馏结合的方法,涵盖多种知识蒸馏损失,如交叉熵、L2、KL散度等,还涉及不同场景下的目标检测,包括低分辨率、3D、弱监督等,以及多种蒸馏策略,如细粒度特征模仿、跨模态蒸馏等。

总结来源:TPAMI 2023: When Object Detection Meets Knowledge Distillation: A Survey 收录的方法

[4] NeurIPS 2017: Learning efficient object detection models with knowledge distillation

在这里插入图片描述
在这里插入图片描述

三种知识蒸馏损失:

第一种:分类子任务的交叉熵蒸馏损失

在这里插入图片描述

回归子任务的bounded L2 regression loss,Lb only penalizes the network when the error of the student is larger than that of the teacher

在这里插入图片描述

中间层的特征蒸馏损失:作者使用L1距离

在这里插入图片描述

[9] JSTARS 2021:Learning slimming SAR ship object detector through network pruning and knowledge distillation

在这里插入图片描述

Three modules called distillation of backbone feature, classification head, and bounding box regression head constitute the proposed distillation framework, and three different levels of knowledge are adaptively transferred from cumbersome network to the lightweight one.

[11] TNNLS 2024:Collaborative knowledge distillation via multiknowledge transfer

在这里插入图片描述

LRD,关系蒸馏损失,探索两个instance之间和三个instance之间的距离

LKL,logits蒸馏损失,KL散度

LSD,logits的自蒸馏损失,KL散度

LCE,交叉熵损失,与ground truth的任务损失

[14] ICIP 2017:Low-light pedestrian detection from RGB images using multi-modal knowledge distillation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[16] ECCV Workshops 2018:Object detection at 200 frames per second

基于YOLO目标检测算法,进行知识蒸馏。对于YOLO算法的三种损失函数,即objectness损失,classification损失,还有regression损失。分别把教师模型的预测当成伪的gt,并运用相应的任务损失作为知识蒸馏的损失函数

在这里插入图片描述

[17] CVPR 2019:Distilling object detectors with fine-grained feature imitation

提出了一种细粒度的特征模仿方法,该方法利用了特征响应的跨位置差异。我们的直觉是,检测器更关注靠近目标物体的局部区域。因此,在靠近目标物体的锚点位置上的特征响应差异揭示了 “教师” 模型倾向于如何进行泛化的重要信息。我们设计了一种新颖的机制来确定这些位置,并让 “学生” 模型在这些位置上模仿 “教师” 模型,以获得性能提升。

在这里插入图片描述

如何生成mask:对于每个预定的anchor计算与gt的IoU得到潜在目标区域的mask
imitation loss:L2损失

在这里插入图片描述

[22] ICCV Workshops 2021:Photon-Limited Object Detection Using Non-Local Feature Matching and Knowledge Distillation

方法:教师模型是photon-abundant的clean image训练的检测器。学生模型是photon-limited的noisy image训练的检测器

在这里插入图片描述

蒸馏方法:对特征进行L1损失

在这里插入图片描述

总的损失:学生模型的分类交叉熵损失 + 学生模型的回归损失 + L1知识蒸馏损失

[24] CVPR 2021:Multi-scale aligned distillation for low-resolution detection

在这里插入图片描述

第一步:训练多尺度图像金字塔网络的教师模型,基线方法是FCOS,两个FCOS的输出特征通过C-FF进行跨level特征融合后得到
第二步,训练单尺度的学生模型,学生模型的损失函数包括FCOS目标检测损失加上知识蒸馏损失,即教师模型的特征PsT,与学生模型的特征Ps-mS进行L1蒸馏损失

在这里插入图片描述

[33] CVPR 2021:Distilling Knowledge via Knowledge Review

在这里插入图片描述
在这里插入图片描述

设计了知识蒸馏的跨stage的学习方式,即学生模型的高层次特征与前一个stage的特征进行融合之后,再与教师的相应stage的特征进行知识蒸馏。即论文中所说的 the student high-level stage has the great capacity to learn useful information from the teacher’s low-level features

[35] CVPR 2021:There is More than Meets the Eye: Self-Supervised Multi-Object Detection and Tracking with Sound by Distilling Multimodal Knowledge

在这里插入图片描述

蒸馏方法:对多个模态的教师模型的特征进行通道注意力之后求和得到多教师Alignment的特征表示,然后对多教师Alignment的特征表示和学生特征进行L2归一化,之后使用KL散度作为知识蒸馏损失

在这里插入图片描述

[36] AAAI 2020:Towards Oracle Knowledge Distillation with Neural Architecture Search

在这里插入图片描述
在这里插入图片描述

论文中提出的方法:最优知识蒸馏(LOD)鼓励 “学生” 网络通过仅模仿预测正确类别的模型的平均预测结果来实现集成模型的最优预测,如图 1(b)所示。在没有正确模型的情况下,我们会让 “学生” 网络去拟合真实标签。由于最优预测所给出的准确率总是优于平均预测的准确率,经过训练的 “学生” 网络有可能超越采用模型平均和 / 或多数投票的 “教师” 模型。

[39] ICCV 2021:Self-knowledge distillation with progressive refinement of targets

在这里插入图片描述

对于第t轮次的学生训练阶段,模型的损失函数为t-1轮次学生的预测logits和label的加权之和

在这里插入图片描述

[43] TII 2023:Multilevel Attention-Based Sample Correlations for Knowledge Distillation

提出了一种基于注意力的relation知识表征,并设计了基于注意力表征的rela
目标检测中的知识蒸馏方法 知识蒸馏 知识蒸馏指的是模型压缩的思想,用压缩之前的模型作为老师,压缩之后的模型作为学生,通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后,通过尝试复制大网络在每一层的输出(不仅仅是最终的损失),小网络被训练以学习大网络的准确行为。 ........................... 阅读详情

相关推荐

典型常见的基于知识蒸馏的目标检测方法总结三

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型(PVLM)中提取知识并将其转移到检测器中。然而,由于非自适应的提议裁剪和单层级特征模仿过程,它们在知识提取过程中存在信息破坏问题,并且知识转移效率低下。为了弥补这些局限性,我们提出了一个对象感知蒸馏金字塔(Object-Aware Distillation Pyramid,OADP)框架,包括一个。

practical_sharp的博客 2570

知识蒸馏研究综述

知识蒸馏综述阅读

LiuAmber的博客 3863

AAAI 2022:基于锚框排序的目标检测知识蒸馏|AI Drive

「AI Drive」是由 biendata 和 PaperWeekly 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义,从而产生更大的价值。 知识蒸馏是模型压缩的有效手段,但是目标检测网络的知识蒸馏方法却很少被研究。 传统的soft label蒸馏,在目标检测任务上基本没有提升。基于这个发现,南京理工大学计算机学院博士李钢和他的团队提出了一种适用于目标检测的锚框排序蒸馏,充分利用了检测网络..

shujushizhanpai的博客 3027

一文详解什么是知识蒸馏

在蒸馏过程中,将相同输入同时输入教师模型和学生模型,教师模型为学生模型提供知识指导,通过最小化学生模型输出与教师模型输出之间的差异(如使用交叉熵损失、均方误差损失等),优化学生模型参数,使学生模型学习教师模型的知识。教师模型训练过程中,能学习到数据中的“暗知识”,如数据分布规律、特征之间的隐含关系等。它通过将一个复杂的大模型(称为教师模型,Teacher Model)的知识转移到一个较小的模型(称为学生模型,Student Model)中,使得学生模型在保持较小规模的同时,能够尽可能地接近教师模型的性能。

Python栈 2554

掩码生成蒸馏——知识蒸馏

知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明,教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发,我们提出了掩码生成蒸馏(Masked Generative Distillation,MGD),该方法很简单:我们随机掩码学生的特征像素,并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法,可用于各种任务,包括图像分类、目标检测、语义分割和实例分割。

m0_47867638的博客 1899

揭秘AI人工智能目标检测的基于知识蒸馏的目标检测

目标检测作为计算机视觉领域的核心任务之一,旨在识别图像或视频中目标对象的类别和位置。在实际应用中,对目标检测模型的精度和效率都有较高要求。然而,高精度的目标检测模型通常具有较大的参数量和计算量,这在资源受限的设备上难以部署。基于知识蒸馏的目标检测技术应运而生,其目的是在保证一定检测精度的前提下,压缩模型大小,提高推理速度。本文的范围将涵盖基于知识蒸馏的目标检测技术的原理、算法、代码实现、实际应用等多个方面。

大模型应用工坊 870

【CVPR 2021】基于解耦特征的目标检测知识蒸馏:Distilling Object Detectors via Decoupled Features

【CVPR 2021】基于解耦特征的目标检测知识蒸馏:Distilling Object Detectors via Decoupled Features论文地址:主要问题:主要思路:具体实现:基本符号:Decouple Intermediate Features in Distillation:Decouple Region Proposals in Distillation:实验结果:联系作者:我的公众号: 论文地址: https://arxiv.org/abs/2103.14475 主要问题: 与图像

梁瑛平的博客 2394

知识蒸馏+增量学习:目标检测模型持续迭代的Python实战

在深度学习模型部署中,目标检测常面临新增类别数据而旧数据不可得的困境,增量学习与知识蒸馏结合成为解决灾难性遗忘的关键技术。其原理是利用旧模型作为教师,通过软标签、特征对齐等方式将旧知识蒸馏给新模型,同时在新数据上学习新类,实现新旧知识平衡。该技术能显著降低全量重训的GPU成本,支持模型持续迭代,适用于工业缺陷检测、遥感地物分类、监控目标识别等场景。本文围绕基于知识蒸馏的目标检测增量学习,提供Python源码实现,涵盖教师学生初始化、损失加权、训练循环及避坑指南,帮助工程师快速落地模型持续迭代。

weixin_28223453的博客 110

目标检测增量学习:知识蒸馏实战指南(YOLO/Faster R-CNN)

目标检测模型在实际部署中常面临新类别持续加入、标注数据稀缺、算力受限等挑战,传统全量重训或简单微调易导致灾难性遗忘与性能崩塌。知识蒸馏作为一种模型压缩与知识迁移技术,通过教师-学生框架将预训练模型的‘经验’(软标签、特征响应、定位残差、置信度分布)高效迁移到轻量子模型,在不牺牲旧类精度的前提下实现新类快速适配。其核心价值在于平衡泛化性与适应性,支撑工业级模型的渐进式迭代升级。本文聚焦目标检测场景下的蒸馏+增量联合范式,覆盖YOLO系列与Faster R-CNN等主流架构,提供可复现的Python源码、四路协

weixin_32238157的博客 272

Kali Linux渗透测试:蚁剑(AntSword)三种安装方法与避坑指南

WebShell管理是渗透测试与网络安全攻防演练中的关键技术环节,它允许安全人员在获得初步访问权限后,对目标系统进行文件管理、命令执行和数据库操作等深度控制。其核心原理是通过在Web服务器上植入特定脚本,建立一条隐蔽的远程管理通道。在实战中,一个高效、稳定的WebShell管理工具能极大提升后渗透阶段的工作效率与成功率。蚁剑(AntSword)作为一款功能强大的国产开源工具,凭借其插件化架构和图形化界面,成为众多安全研究人员的首选。本文将聚焦于如何在渗透测试专用操作系统Kali Linux上部署蚁剑,详细对

weixin_34413103的博客 416

瑞萨芯片串口配置,基于RL78芯片的串口使用配置

在这里隆重给大家介绍瑞萨编辑器CS+ for CA 的自动生成代码功能,只需要配置几个参数,就可以得到你想要的串口配置了,我现在已经忘记怎么手动配置寄存器了,哈哈。选择设置,此时将端口设置成功接下来设置时钟,根据自己的芯片所需设置相应的时钟,自己芯片是什么时钟查看数据手册和原理图可以找到。瑞萨芯片的串口配置其实和ST芯片的串口配置差不多,只是ST芯片的中文数据手册比较多,就更好配置了,找到所需要的串口配置IO口,此时将UART0 配置为引脚P61和P62,瑞萨芯片的串口配置竟然要配置串口。

qq_45315904的博客 4306

深入解析EtherCAT通讯DS402协议下的伺服电机控制模式选择与配置

本文深入解析了EtherCAT通讯DS402协议下的伺服电机控制模式选择与配置,详细介绍了六种核心控制模式(如PPM、CSP、CSV、CST)的应用场景及实战技巧。通过EtherCAT和DS402协议的高效配合,实现工业自动化中伺服电机的精准控制,提升设备性能与稳定性。

h0i1j2k3l的博客 1178

病理WSI配准库valis教程

病理WSI配准库valis教程

azrealq的博客 2599

(35)远程识别(又称无人机识别)(一)

Ardupilot官网关于《Peripheral Hardware》的翻译 —《(35) 远程识别(又称无人机识别)》。

无人机开发(开源Ardupilot) 4万+

从ST电机库到TI InstaSPIN:手把手对比两种主流FOC实现中的坐标变换差异

本文深入对比了ST电机库与TI InstaSPIN在FOC实现中的坐标变换差异,包括坐标系定义、变换系数和角度处理等关键点。针对BLDC和PMSM电机控制,提供了从理论到实践的移植方案,帮助工程师快速解决平台切换中的性能问题。特别解析了Clarke/Park变换在两种实现中的微妙差异及其对PI控制的影响。

weixin_28724661的博客 398

gtsam 学习十(ISAM2 理论)

翻译自:iSAM2: Incremental Smoothing and Mapping Using the Bayes Tree 摘要 提出了一种新型的贝斯树处理稀疏矩阵,在转化为因子图,可以更好的求解平方根信息和映射问题。 文中提出了三个概念 使用概率密度项进行矩阵分解 介绍如何将矩阵分解转换为贝叶斯数和条件概率密度 基于贝叶斯树提供了一种新的系数非线性优化:ISAM2(进行重新排序和重新线性化,避免了批量更新) 问题描述 文章聚焦与如何用增量实时解决非线性问题, 利用增量即新的测量值实时更新估

weixin_37781153的博客 8411

利用dpabi和restplus提取ROI灰质体积学习笔记

目录前言一、数据准备二、利用dpabi提取ROI灰质体积三、restplus提取ROI灰质体积 前言 我利用SPM/CAT12进行灰质、白质、脑脊液分割之后分别已经得到各自的图像文件,在全脑水平已经做了统计分析。如果还想要进一步进行ROI的统计分析或者与量表等临床资料做相关分析,就需要提取ROI灰质体积。几个月没动过这数据了,突然心血来潮想学一下如何提取ROI灰质体积,以此篇博客记录我的提取ROI灰质体积学习过程。提取ROI灰质体积的方法及软件有许多种,本人尝试了dpabi和restplus。 一、数据准备

weixin_52073820的博客 9225

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: TPAMI 2023:When Object Detection Meets Knowledge Distillation: A Survey
下一篇: 典型常见的基于知识蒸馏的目标检测方法总结二
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值