典型常见的基于知识蒸馏的目标检测方法总结三

目标检测中的知识蒸馏方法 知识蒸馏 知识蒸馏指的是模型压缩的思想,用压缩之前的模型作为老师,压缩之后的模型作为学生,通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后,通过尝试复制大网络在每一层的输出(不仅仅是最终的损失),小网络被训练以学习大网络的准确行为。 ........................... 阅读详情
AI摘要

本文汇总了Google学术2023 - 2024顶会顶刊中目标检测相关的知识蒸馏论文。涵盖多种知识蒸馏方法,如3D目标检测的知识蒸馏范式、开放词汇目标检测的对象感知蒸馏金字塔等,还涉及不同场景下的目标检测优化,如低光、跨域等,旨在提升目标检测性能。

来源:Google学术2023-2024的顶会顶刊论文

NeurIPS 2022:Towards Efficient 3D Object Detection with Knowledge Distillation

为3D目标检测提出了一种知识蒸馏的Benchmark范式,包含feature的KD,Logit的cls和reg的KD,还有label KD。

在这里插入图片描述

feature的KD:instance-level的RoI feature的蒸馏

在这里插入图片描述

Logit KD:使用教师的classification和regression与学生的输出进行蒸馏

在这里插入图片描述

Label KD:将教师模型的预测和GT的标签作为混合label,与学生的输出的logits进行蒸馏

在这里插入图片描述

Total Distillation loss function

在这里插入图片描述

WACV 2021:Data-free Knowledge Distillation for Object Detection

我们提出了用于目标检测的深度反演(DeepInversion for Object Detection,DIODE),以实现无需数据支持的知识蒸馏,适用于经过目标检测任务训练的神经网络。从无需数据的角度来看,DIODE仅基于一个现成的预训练检测网络,无需任何先验领域知识、生成器网络或预计算激活值,即可合成图像。DIODE依赖于两个关键组件:首先,一套广泛的可微分增强技术,用于提高图像保真度和蒸馏效果;其次,一种新颖的自动边界框和类别采样方案,用于图像合成,从而生成大量具有多样化空间和类别目标的图像。生成的图像使得从教师检测器到学生检测器的知识蒸馏成为可能,且学生检测器是从零开始初始化的。

在一系列广泛的实验中,我们证明了DIODE能够匹配原始训练分布,从而始终比分布外的代理数据集实现更有效的知识蒸馏。在无需数据的设置中,由于缺乏原始领域知识,分布外的代理数据集不可避免地会出现,而DIODE则有效解决了这一问题。

在这里插入图片描述

NeurIPS 2021:Instance-Conditional Knowledge Distillation for Object Detection

在这里插入图片描述

将instance的GT坐标信息和类别信息通过instance encoder和MLP编码成learnable embedding作为cross-attention的query

在这里插入图片描述

从教师网络的FPN的多尺度表征特征整合为AT,从AT从中key和vuale,联合GT的信息编码为query进行cross-Attention,最后(mij, VTj)作为instance-conditional Knowledge

在这里插入图片描述

Instance-Conditional Distillation

在这里插入图片描述

Auxiliary Task

TPAMI 2023:Structured knowledge distillation for accurate and efficient object detection

在这里插入图片描述

NeurIPS 2022:Structural Knowledge Distillation for Object Detection

使用1-SSIM loss作为衡量教师模型与学生模型的特征差异

在这里插入图片描述

AAAI 2022:Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-Guided Feature Imitation

在这里插入图片描述

CVPR 2021:General Instance Distillation for Object Detection

General Instance Selection Module:学习General Instance 集合

在这里插入图片描述
在这里插入图片描述

Feature-based Distillation:对GI集合中的instance进行RoI Align之后做特征蒸馏

在这里插入图片描述

Relation-based Distillation:对GI集合中做correlation Distillation

在这里插入图片描述

Response-based Distillation:对GI集合中的instance学习mask掩码矩阵M,进行Response logits蒸馏

在这里插入图片描述

ICCVW 2021:Photon-Limited Object Detection using Non-local Feature Matching and Knowledge Distillation

在这里插入图片描述

提出对photon-abundant的目标检测器进行训练作为教师模型,对photon-limited的目标检测器作为学生模型,来增强低光条件下的目标检测

在这里插入图片描述

CVPR 2023:Object-Aware Distillation Pyramid for Open-Vocabulary Object Detection

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型(PVLM)中提取知识并将其转移到检测器中。然而,由于非自适应的提议裁剪和单层级特征模仿过程,它们在知识提取过程中存在信息破坏问题,并且知识转移效率低下。

为了弥补这些局限性,我们提出了一个对象感知蒸馏金字塔(Object-Aware Distillation Pyramid,OADP)框架,包括一个对象感知知识提取(Object-Aware Knowledge Extraction,OAKE)模块和一个蒸馏金字塔(Distillation Pyramid,DP)机制。在从 PVLM 中提取对象知识时,前者自适应地变换对象提议,并采用对象感知掩膜注意力来获取精确而完整的对象知识。后者引入全局蒸馏和块蒸馏以实现更全面的知识转移,从而弥补对象蒸馏中缺失的关系信息。
在这里插入图片描述

Object-Aware Knowledge Extraction (OAKE) module

Distillation Pyramid:Object Distillation,Global Distillation,Block Distillation,都是L1 loss,其一从Faster RCNN出来,其二从CLIP中出来

CVPR 2021:Distilling object detectors via decoupled features

在这里插入图片描述

把图片划分为前景object区域和背景background区域,根据mask来划分,对前景和背景分别对特征和分类logits进行蒸馏

在这里插入图片描述
在这里插入图片描述

CVPR 2023:itKD: Interchange transfer-based knowledge distillation for 3d object detection

在这里插入图片描述
在本文中,我们首先提出了一种自动编码器风格的框架,该框架通过基于交换转移的知识蒸馏实现通道级压缩和解压缩。为了学习教师网络的地图视图特征,教师网络和学生网络的特征分别独立地通过共享自动编码器;在此,我们使用一种压缩表示损失,它将来自学生网络和教师网络的通道级压缩知识作为一种正则化约束。解压缩后的特征沿相反方向进行转移,以缩小交换重建中的差距。最后,我们提出了一种头部注意力损失,以匹配由多头自注意力机制提取的三维目标检测信息。通过大量实验,我们验证了我们的方法能够训练出与三维点云检测任务高度适配的轻量级模型,并使用知名公共数据集(如 Waymo 和 nuScenes)证明了其优越性。

NeurIPS 2021:Distilling object detectors with feature richness

在这里插入图片描述

根据检测头对每个特征图上空间点的cls最大分数来定义了一个feature richness score,使用feature richness score作为FPN特征层的每一层专属的mask,使用这一mask矩阵Sij来进行FPN特征层和分类检测头的知识蒸馏

在这里插入图片描述
在这里插入图片描述

知识蒸馏论文翻译(9)—— Multi-level Knowledge Distillation via Knowledge Alignment and Correlation 知识蒸馏论文翻译(9)—— Multi-level Knowledge Distillation via Knowledge Alignment and Correlation 基于知识对齐和关联的多层次知识蒸馏 文章目录知识蒸馏论文翻译(9)—— Multi-level Knowledge Distillation via Knowledge Alignment and Correlation摘要一、介绍二、相关工作三、多层次知识提炼3.1 知识整合3.2 知识关联3.3 有监督的知识提炼3.4 MLKD 阅读详情

相关推荐

典型常见的基于知识蒸馏的目标检测方法总结一

使用feature propagation layer [29]将voxel特征转换为point feature。

practical_sharp的博客 2077

知识蒸馏研究综述

知识蒸馏综述阅读

LiuAmber的博客 3863

AAAI 2022:基于锚框排序的目标检测知识蒸馏|AI Drive

「AI Drive」是由 biendata 和 PaperWeekly 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义,从而产生更大的价值。 知识蒸馏是模型压缩的有效手段,但是目标检测网络的知识蒸馏方法却很少被研究。 传统的soft label蒸馏,在目标检测任务上基本没有提升。基于这个发现,南京理工大学计算机学院博士李钢和他的团队提出了一种适用于目标检测的锚框排序蒸馏,充分利用了检测网络..

shujushizhanpai的博客 3027

一文详解什么是知识蒸馏

在蒸馏过程中,将相同输入同时输入教师模型和学生模型,教师模型为学生模型提供知识指导,通过最小化学生模型输出与教师模型输出之间的差异(如使用交叉熵损失、均方误差损失等),优化学生模型参数,使学生模型学习教师模型的知识。教师模型训练过程中,能学习到数据中的“暗知识”,如数据分布规律、特征之间的隐含关系等。它通过将一个复杂的大模型(称为教师模型,Teacher Model)的知识转移到一个较小的模型(称为学生模型,Student Model)中,使得学生模型在保持较小规模的同时,能够尽可能地接近教师模型的性能。

Python栈 2554

什么是特征蒸馏?什么是知识蒸馏?

​​特征蒸馏是一种知识迁移方法,它将教师模型在中间层学到的特征表示(如语义、结构、上下文信息)迁移到学生模型中,让学生模型不仅学会“做什么”(输出),还学会“怎么看”(特征),从而提升整体性能。​​。

m0_74027860的博客 2430

直播预告|AAAI 2022:基于锚框排序的目标检测知识蒸馏

「AI Drive」是由 biendata 和PaperWeekly 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义,从而产生更大的价值。 本期 AI Drive,我们邀请到南京理工大学计算机学院博士-李钢,为大家在线解读其发表在 AAAI 2022的最新研究成果:基于锚框排序的目标检测知识蒸馏。对本期主题感兴趣的小伙伴,3 月 24 日(周四)晚 7 点,我们准时相约 AI_D...

AI_Drive的博客 4072

掩码生成蒸馏——知识蒸馏

知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明,教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发,我们提出了掩码生成蒸馏(Masked Generative Distillation,MGD),该方法很简单:我们随机掩码学生的特征像素,并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法,可用于各种任务,包括图像分类、目标检测、语义分割和实例分割。

m0_47867638的博客 1899

yolov5知识蒸馏2:目标检测中的知识蒸馏

本博客介绍目标检测任务中知识蒸馏如何操作,首先介绍下相关的论文。这篇文章是针对进行知识蒸馏的方法,FasterRCNN是一个两阶段的目标检测算法,包括(RPN)和(RCN),这两阶段都用到了classifier和,论文使用教师网络RPN和RCN的输出作为蒸馏的目标,并应用了中间层的输出作为提示Hint图中,上半部分是教师网络,网络中间层的输出叫做Hint知道学生网络中间层输出的学习,中间层一般是featuremap。我们希望student也学习到中简层特征的输出。Tiny-YOLO。...

@bangbang的博客 2808

揭秘AI人工智能目标检测的基于知识蒸馏的目标检测

目标检测作为计算机视觉领域的核心任务之一,旨在识别图像或视频中目标对象的类别和位置。在实际应用中,对目标检测模型的精度和效率都有较高要求。然而,高精度的目标检测模型通常具有较大的参数量和计算量,这在资源受限的设备上难以部署。基于知识蒸馏的目标检测技术应运而生,其目的是在保证一定检测精度的前提下,压缩模型大小,提高推理速度。本文的范围将涵盖基于知识蒸馏的目标检测技术的原理、算法、代码实现、实际应用等多个方面。

大模型应用工坊 870

yolov8(目标检测、图像分割、关键点检测)知识蒸馏:logit和feature-based蒸馏方法的实现

支持yolov8检测、分割、关键点任务的知识蒸馏,并对蒸馏代码进行详解,比较容易上手。蒸馏方式多种,支持logit和feature-based蒸馏以及在线蒸馏。

weixin_51988935的博客 6087

【CVPR 2021】基于解耦特征的目标检测知识蒸馏:Distilling Object Detectors via Decoupled Features

【CVPR 2021】基于解耦特征的目标检测知识蒸馏:Distilling Object Detectors via Decoupled Features论文地址:主要问题:主要思路:具体实现:基本符号:Decouple Intermediate Features in Distillation:Decouple Region Proposals in Distillation:实验结果:联系作者:我的公众号: 论文地址: https://arxiv.org/abs/2103.14475 主要问题: 与图像

梁瑛平的博客 2394

工程伦理ppt

工程伦理学 第一章 工程与伦理 1.1 如何理解工程 一、技术与工程的区别 二、技术与工程的联系 三、工程的定义 五、工程具有不确定性和探索性 六、理解工程活动的7个维度 1.2 如何理解伦理 一、道德与伦理 二、不同的伦理立场 三、伦理困境与伦理选择 1.3 工程实践中的伦理问题 一、工程活动中的行动者网络(具有动态性和网络性) 二、主要的工程伦理问题 三、工程伦理问题的特点 1.4 如何处理工程实践中的伦理问题 一、工程实践中伦理问题的辨识 二、处理工程伦理问题的基本原则 三、应对工程伦理问题的基本思路

weixin_51656605的博客 7万+

windows局域网文件夹共享

windows局域网共享文件夹,亲测,包括可能出现的一些问题解决

yml15180824993的博客 4万+

视频教程-SAP S4 HANA FICO COPA 获利能力分析-ERP

SAP S4 HANA FICO COPA 获利能力分析 从业超过8年的SA...

weixin_33456805的博客 1444

Ubuntu开发环境配置——持续更新

本文简要介绍了Ubuntu下的开发环境配置流程和问题分析与解决,更多内容持续更新中。

m0_53365889的博客 2225

cocos2dx lua + protobuf

vs 2015 cocos2dx 3.10  lua  protobuf1. 下载 protobuf 源码     https://github.com/bnnswyp/protobuf/tree/master/protobuf-2.5.0    解压后的文件列表如下所示         其中 vsprojects 文件夹为 protobuf 的vs 工程2. 打开 protobuf.sln 编译...

u014486706的博客 2164

IFIX数据库Datebase当前值问号

IFIX数据库Datebase当前值问号,已解决,亲测有效 在OPC PowerTool有数据的情况下,IFIX数据库Datebase当前值显示???? 问题分析及解决方法 我的IFIX5.8版本,其它版本可参考 打开IFIX工作台:应用程序–任务控制–I/O驱动–OPC Client;查看OPC驱动是否被禁用,点击启动,变成激活状态即可;若点击启动无法激活OPC驱动,需要重新安装OPC驱动,方法如下: 下载I/O Driver文件 下载链接:https://download.youkuaiyun.com/down

Ron_Tso的博客 2761

基于非接触式微波雷达设计的睡眠监控系统_323

本项目设计了一种基于非接触式微波雷达的睡眠监控系统,通过高精度的生理信号采集与分析,帮助用户全面了解自身的睡眠状态和健康状况。系统采用60GHz频段的R60ABD1毫米波雷达模块,实现对人体呼吸频率、心率、活动状态、体动幅度等参数的非接触式测量;结合MLX90614红外体温传感器,能够实时监测人体体温。此外,系统通过蜂鸣器报警和数据上云功能,及时向用户反馈异常生理指标,确保健康风险早期预警。数据通过ESP8266-WIFI模块上传至华为云物联网平台,用户可通过Android手机APP和Windows上位机远

504

SolidWorks速成教程P1——简介及基础操作

SolidWorks教程P1——简介及基础操作

嵌入式阿齐Archie 2万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: 典型常见的基于知识蒸馏的目标检测方法总结二
下一篇: 基于知识蒸馏的跨模态目标检测方法总结
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值