典型常见的知识蒸馏方法总结三

典型常见的基于知识蒸馏的目标检测方法总结三 开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型(PVLM)中提取知识并将其转移到检测器中。然而,由于非自适应的提议裁剪和单层级特征模仿过程,它们在知识提取过程中存在信息破坏问题,并且知识转移效率低下。为了弥补这些局限性,我们提出了一个对象感知蒸馏金字塔(Object-Aware Distillation Pyramid,OADP)框架,包括一个。 阅读详情

来源:TPAMI2022 Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks中表1和表2的方法

在这里插入图片描述

[10] Contrastive representation distillation

开源代码:https://github.com/HobbitLong/RepDistiller
具体数学推导看不懂,,,
知乎博客
主要idea:属于同一个标签类的教师与学生的特征需要尽可能的接近,而属于不同类的教师与学生的特征需要尽可能的疏远

[8] CVPR 2019:Variational information distillation for knowledge transfer 最大化学生与教师特征之间的互信息

[16] ICCV 2019:On the Efficacy of Knowledge Distillation

在本文中,我们对知识蒸馏的功效及其对学生和教师架构的依赖性进行了全面评估。从更准确的教师往往并非好教师这一观察出发,我们试图梳理出影响知识蒸馏性能的因素。关键在于,我们发现更大的模型通常并非更好的教师。我们表明这是容量不匹配的结果,即小学生无法模仿大教师。我们发现规避此问题的典型方法(如执行一系列知识蒸馏步骤)是无效的。最后,我们表明通过提前停止教师的训练可以减轻这种影响。我们的结果在不同数据集和模型中具有普遍性。

[17] CVPR 2019:Snapshot Distillation: Teacher-Student Optimization in One Generation

提出了snapshot distillation的概念,即采用迭代轮次更早期的cl < l 教师参数来优化第l-1次学生参数

在这里插入图片描述

[18] ICLR 2019: Knowledge flow: Improve upon your teachers

开发了知识流方法,它将 “知识” 从多个深度网络(称为教师网络)转移到一个新的深度网络模型(称为学生网络)。教师网络和学生网络的结构可以任意不同,并且它们也可以在具有不同输出空间的完全不同的任务上进行训练。通过知识流进行训练后,学生网络将独立于教师网络。

[26] CVPR 2019:Learning Metrics from Teachers: Compact Networks for Image Embedding

在本文中,我们提出两个新的损失函数,用于模拟深度教师网络与小型学生网络之间的信息传递。我们在多个数据集(包括 CUB - 200 - 2011、Cars - 196、Stanford Online Products)上评估了我们的系统,结果表明,使用小型学生网络计算的嵌入比使用类似规模的标准网络计算的嵌入性能显著更好。在一个非常紧凑的网络(MobileNet - 0.25,可用于移动设备)上的实验结果显示,所提出的方法可将 Recall@1 结果从 27.5% 大幅提高到 44.6%。
此外,我们还研究了嵌入蒸馏的各个方面,包括提示层和注意力层、半监督学习以及跨质量蒸馏。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

两种loss,第一种,对于同一个样本,按照公式4,最小化教师与学生特征之间的绝对距离
第二种loss,对于不同的两个样本,按照公式6,定义两个样本之间的度量,然后最小化教师与学生之间的度量

在这里插入图片描述

所提出的方法还可以拓展到hint和attention的蒸馏方法,将hint和attention的蒸馏损失加在公式7中,得到

在这里插入图片描述

添加Hint知识蒸馏损失

在这里插入图片描述

添加attention知识蒸馏损失

在这里插入图片描述

[28] CVPR 2019:Relational knowledge distillation

典型常见的基于知识蒸馏的目标检测方法总结一 使用feature propagation layer [29]将voxel特征转换为point feature。 阅读详情

相关推荐

知识蒸馏 综述 Knowledge Distillation: A Survey

Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey,论文地址:https://arxiv.org/abs/2006.05525 (有翻译不周之处,敬请指正) 1. Introduction 深度学习取得了巨大进步,但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效,主要有以下两个方向的研究: 高效的网络模块构建:如MobileNets, ShuffeNets .

doctor_strange**** 1万+

什么是特征蒸馏?什么是知识蒸馏?

​​特征蒸馏是一种知识迁移方法,它将教师模型在中间层学到的特征表示(如语义、结构、上下文信息)迁移到学生模型中,让学生模型不仅学会“做什么”(输出),还学会“怎么看”(特征),从而提升整体性能。​​。

m0_74027860的博客 2430

大模型知识蒸馏技术(4)——离线蒸馏

离线蒸馏是知识蒸馏中最早被提出且最为常见的实现方式,其核心在于教师模型和学生模型的训练是分阶段进行的。具体而言,教师模型首先在训练集上进行充分训练,直至收敛,然后利用教师模型的输出(通常是软目标)来指导学生模型的训练。

谷哥的小弟 2454

大模型知识蒸馏技术(5)——在线蒸馏

在线蒸馏是一种知识蒸馏方式,其核心特点是教师模型和学生模型的参数在训练过程中同时更新,整个蒸馏框架是端到端训练的。这种方式允许教师模型和学生模型相互影响、共同学习,能够更高效地实现知识迁移,动态适应数据变化和任务需求。

谷哥的小弟 3465

关于知识蒸馏的概念原理以及常见方法

借助知识蒸馏,可以在资源受限或大规模在线服务场景中,让深度学习模型变得更轻便、更高效,依然能在性能上与大模型相差无几,甚至更具优势。随着AI应用范围的不断扩大,知识蒸馏也在不断衍生出新的方法与思路,成为深度学习模型部署与优化不可或缺的一环。祝你在知识蒸馏领域取得更多实践成果和创新突破!的一种思路(在不改变任务的情况下把“大模型的知识”迁移到“小模型”)。以下提供关键要点和最佳实践。的一种主要手段,也可视作。

形上得其象,形下合于数;阴阳自济,玄理自明。 729

AIGC领域Stable Diffusion的模型知识蒸馏方法

随着AIGC(人工智能生成内容)技术的快速发展,Stable Diffusion等文本到图像生成模型在创意设计、数字内容生产等领域展现出强大能力。然而,这类模型通常具有庞大的参数量(如Stable Diffusion v1.5包含约86亿参数),导致部署成本高、推理速度慢,难以满足移动端设备、实时生成系统等场景的需求。

AI天才研究院 1172

模型蒸馏和知识蒸馏有什么区别和联系!

模型蒸馏(Model Distillation)和知识蒸馏(Knowledge Distillation)是紧密相关的概念,但在技术范畴和应用细节上存在一定差异。

女王の专属领地 1917

k8s架构、工作流程、集群组件详解

Kubernetes(简称K8s,是因为 k 和 s 之间有八个字符)是一个开源的容器编排平台,用于管理云平台中多个主机上的容器化应用程序。它提供了一种机制,用于自动化部署、扩展和管理容器化应用程序的集群。Kubernetes的目标是让部署容器化应用程序变得简单高效。它提供了应用程序部署、规划、更新和维护的基本机制,同时具备强大的扩展性和可靠性。Kubernetes采用主从设备模型(Master-Slave架构),其中Master节点负责核心的调度、管理和运维任务,而Slave节点负责运行应用程序的容器。

qq_51545656的博客 4383

Python爬虫之爬取并下载哔哩哔哩视频

它可以爬取并下载视频文件和音频文件!亲自使用过,太好用了。

2301_80124151的博客 3万+

RV1126B SDK移植实战:从DDR配置到USB烧写全解析

本文详细解析了RV1126B SDK移植的核心实战流程,重点攻克了DDR初始化失败与USB烧写两大难题。文章从理解启动流程入手,提供了DDR配置错误的排查步骤、SDK编译配置要点,并深入讲解了USB烧写的完整操作与常见问题解决方案,旨在帮助开发者高效完成系统移植与稳定运行。

weixin_29164497的博客 543

win11系统ping另一台电脑上VMware虚拟机的IP

我是用了两台电脑,所以刚才遇到一个问题就是两台电脑的IP 在同一局域网内ping不通。于是就找了很多资料,经过坚强的绝望后终于解决了。 下开始解决问题: VMWare提供了三种工作模式:bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。 1. bridged(桥接模式)   在这种模式下,VMWare虚拟出来的操作系统就像是局域网中的一台独立主机,它可以访问网内任何一台机器。在桥接模式下,你需要手工为虚拟系统配置IP地址、子网掩码,而且还要和宿主机器处于同一网段,这样虚

qq_42817360的博客 3239

Cursor集成Claude 4.6免费版:本地IDE合规调用指南

大语言模型编程助手(LLM Copilot)已成为现代开发标配,其核心能力依赖于上下文理解、代码推理与结构化输出等关键技术原理。Anthropic官方提供的Claude系列模型,尤其Claude 4.6,凭借200K超长上下文、tool use函数调用和严格可控的API设计,在工程实践中展现出显著技术价值。该能力可无缝嵌入本地IDE环境,支撑代码解释、跨文件分析、单元测试生成等高频开发场景。本文聚焦Cursor这一开源可审计IDE,详解如何合规复用Anthropic免费tier接口(/v1/messages

weixin_34095889的博客 541

2021年03月 C/C++(五级)真题解析#中国电子学会#全国青少年软件编程等级考试

给定一个十进制正整数n(0 < n < 1000000000),每个数位上数字均不为0。n的位数为m。现在从m位中删除k位(0

人生就是一个不断学习的过程 1013

EB配置I2c - 实现与PF8200的读写操作

①,基于硬件实现IIC通信(硬件GPIO引脚配置为I2c复用引脚)②,基于软件模拟IO实现IIC通信(代码控制SDA和SCL两个IO引脚的电平来模拟IIC时序)本文章基于64pin的恩智浦S32K146型号的芯片作为主机,从机是NXP的供电芯片。在本次实验中,我们将以使用EB工具链来配置硬件IIC通信。1,EB配置2,代码编写3,测试验证话不多说,走你~写操作比较简单,只需要申明一个I2c配置结构体变量即可。

weixin_48498880的博客 3768

Android14 SystemUI如何实现下拉菜单栏高斯模糊背景效果(类似于毛玻璃效果)

我们都知道,从Android12起,下拉菜单栏控制中心都是黑色的,看起来非常不美观,而且国内的手机系统UI都做的比较美观,大部分的下拉菜单UI背景都是实现了高斯模糊效果,所以客户也会要求实现类似于这样的效果。在以前的Android项目中,实现下拉菜单栏的模糊背景就是通过截图的方式进行替换背景,而这种方式下拉菜单背景极易替换不了,就算是在各个地方都适配,还是有概率在复杂场景或者一些测试手法下出现背景是黑的情况,并且这种方式还比较影响性能,毕竟每次都要去截图一次,多做了额外的事。

热衷于Android Framework和系统APP的修改经验分享 1800

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: 典型常见的知识蒸馏方法总结二
下一篇: TPAMI 2023:When Object Detection Meets Knowledge Distillation: A Survey
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值