ICLR 2021 KNOWLEDGE DISTILLATION

最新推荐文章于 2024-10-09 18:15:39 发布
最新推荐文章于 2024-10-09 18:15:39 发布
阅读量1k 收藏 3
点赞数
分类专栏： Object Detection 文章标签： 人工智能 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39512995/article/details/114324766
版权

IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS ACCURATE AND EFFICIENT DETECTORS学习笔记

ICLR2021

Introduction

  • 大多数为图像分类设计的知识蒸馏网络在目标检测任务中效果不好，原因是：

    • 前景和背景像素之间不平衡
    • 缺乏对不同像素之间关系的提炼

  • 基于以上两个原因，本文分别做了以下工作：

    • attention-guided distillation 注意力引导蒸馏：通过注意力机制来发现前景物体的关键像素，从而使学生更加努力地学习其特征。
    • non-local distillation非局部蒸馏：使学生不仅能够学习单个像素的特征，而且能够学习由非局部模块捕获的不同像素之间的关系。

  • 本文提出的两个模块只在训练的时候需要，在推理的过程中不会引入额外的计算

  • 本文的方法是基于特征的蒸馏，可以直接用于所有类型的目标检测器

  • 不同于图像分类的知识蒸馏中高AP的教师网络会对学生网络造成负面影响，目标检测中的知识蒸馏需要高AP的教师网络

  • 相当于是基于这篇工作进行改进Distilling object detectors with fine-grained feature imitation

METHODOLOGY

在这里插入图片描述

ATTENTION-GUIDED DISTILLATION

  • 空间注意力 G s G^s Gs(每一点上C个通道的平均值)：

  • 通道注意力 G c G^c Gc（每个通道上所有点的平均值）：

  • 空间注意力Mask M s M^s Ms:
    在这里插入图片描述

  • 通道注意力Mask M c M^c Mc:

    ​ M c = C ⋅ s o f t m a x ( ( G c ( A S ) + G c ( A τ ) ) / T ) M^c=C ·softmax((G^c(A^S) +G^c(A^τ))/T) Mc=C⋅softmax((Gc(AS)+Gc(Aτ))/T)

    T T T是softmax中的超参数，用来调节注意力mask中元素的分布：

在这里插入图片描述

  • ATTENTION-GUIDED DISTILLATION的损失 L A G D L_{AGD} LAGD​由两部分组成:attention transfer loss L A T L_{AT} LAT​和attention-masked loss L A M L_{AM} LAM​

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

NON-LOCAL DISTILLATION

在这里插入图片描述

OVERALL LOSS FUNCTION

在这里插入图片描述

EXPERIMENT

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Ablation study

在这里插入图片描述

Sensitivity study on hyper-parameters

在这里插入图片描述

Sensitivity study on the types of non-local modules

在这里插入图片描述

Discussion

  • 各个方面都有提高

在这里插入图片描述

[2021CVPR]General Instance Distillation for Object Detection 论文笔记
weixin_45750753的博客
03-12 5247
1.摘要 主要出发点：1.通用性，现有的方法对不同检测器通用性差；2.严重依赖于GT框，而忽略了不同实例之间的关系。作者提出的方法称为一般实例蒸馏(general instance distillation)，其不考虑GT带来的正负区别。 作者认为将分类中蒸馏的方法直接用到检测中不行是因为检测中正负样本非常不平衡。[14]和[34]都是解决正负样本不平衡问题来解决蒸馏检测。但是，作者认为只用GT相关的区域来做蒸馏会忽视背景的潜在信息。因此，作者将一般实例(图像)作为蒸馏目标，结合了response-base
关于目标检测的distillation的一点理解
lovep1的博客
10-31 917
1、常见的基本操作 文章代表Learning Efficient Object Detection Models with Knowledge Distillation 如上图所示 ， 首先在teacher-model和student-model的中间层featuemap进行学习和蒸馏，如果遇到st-model和te-model的feature-mapshape不一致时，则使用adaption模块来完成统一，然后计算l2距离。 其次,RPN\RCN部分的分类的暗知识以及回...
[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记
weixin_45750753的博客
03-12 5827
目标检测知识蒸馏
IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS (2021 ICLR)----论文和博客读书笔记
落了一地秋的博客
06-16 1950
IMPROVE OBJECT DETECTION WITH FEATURE-BASED KNOWLEDGE DISTILLATION: TOWARDS ACCURATE AND EFFICIENT DETECTORSABSTRACTRELATED WORKComparison between the proposed attention-guided distillation and other methods.METHODOLOGYATTENTION-GUIDED DISTILLATION 论文链接 BL
检测知识蒸馏
weixin_41803339的博客
10-23 702
0、序言 常用的模型优化方法分为基于结构设计和非结构设计两种方法，结构设计类的包括mobilenet、ghostnet、peleenet、efficientnet、shufflenet、vovnet等等都充分考虑了计算效率和资源，专为边缘计算设备和移动端设备而生。除此之外的非机构设计的优化方法有知识蒸馏、模型量化和模型减枝，其中知识蒸馏的方法最为简单有效，已经被广泛应用到分类任务，但检测的知识蒸馏方法却很少，这里介绍一种基于特征响应的检测知识蒸馏方法。 1、论文 论文题目： 《IMPROVE OBJECT
Nasty-Teacher:[ICLR 2021 Spotlight Oral]“不可蒸馏
05-01
马皓宇，陈天龙，胡婷奎，尤晨宇，谢晓辉，王章阳在ICLR 2021聚光灯下口服 概述 我们提出了Nasty Teacher的概念，这是一种防御方法，可防止在不牺牲性能的情况下通过KD防止知识泄漏和未经授权的模型克隆。 我们...
【连续学习之M2kd算法】2019年论文：Multi-model and multilevel knowledge distillation for incremental learning
BetterBench的博客
10-09 1096
本文提出了一种多模型和多级知识蒸馏策略（M2KD），通过从所有先前模型快照中直接蒸馏知识，以及重构先前模型的输出，来提高增量学习中对新类别的学习性能，同时保留对旧类别的知识，并通过辅助蒸馏进一步保留中间特征级别的知识。
Knowledge Distillation
zhangjf26的博客
08-07 5171
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
CVPR2020|WACV2020 |ICLR2021 小样本学习论文合辑
wangs1996
06-29 3400
CVPR2020|小样本论文合辑 Few-Shot Object Detection With Attention-RPN and Multi-Relation Detector FGN: Fully Guided Network for Few-Shot Instance Segmentation Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition Adaptive Subspaces for Few-Shot Lear
Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
qq_42902997的博客
09-24 1544
文章目录AbstractMethod3.1 Overall Structure3.2 Knowledge Distillation for Classification with Imbalanced Classes3.3 Knowledge Distillation for Regression with Teacher Bounds3.4 Hint Learning with Feature Adaption 由于论文中有很多冗余的话，在这篇文章的阅读中，我只总结比较重要的部分，而不再对论文进行逐字逐
Recurrent Event Network for Reasoning over Temporal Knowledge Graphs.pdf
08-09
Recently, there has been a surge of interest in learning representation of graphstructured data that are dynamically evolving. However, current dynamic graph learning methods lack a principled way in modeling temporal, multi-relational, and concurrent interactions between nodes—a limitation that is especially problematic for the task of temporal knowledge graph reasoning, where the goal is to predict unseen entity relationships (i.e., events) over time. Here we present Recurrent Event Network (RE-NET)—an architecture for modeling complex event sequences—which consists of a recurrent event encoder and a neighborhood aggregator. TheeventencoderemploysaRNNtocapture(subject,relation)-specific patterns from historical entity interactions; while the neighborhood aggregator summarizes concurrent interactions within each time stamp. An output layer is designed for predicting forthcoming, multi-relational events. Experiments1 on temporal link prediction over two knowledge graph datasets demonstrate the effectiveness of our method, especially on multi-step inference over time.
目标检测（Object Detection）入门概要
热门推荐
hyfine
07-12 6万+
Objection Detection Tasks Methods Algorithms Region Proposal Selective Search EdgeBoxes R-CNN SPP-Net Fast R-CNN Faster R-CNN SSD YOLO references 本文首先介绍目标检测的任务，然后介绍主流的目标检测算法或框架，重点为Faster...
【论文翻译】PLOP: Learning without Forgetting for Continual Semantic Segmentation
小张好难瘦的博客
11-04 3061
论文地址:http://​https://arxiv.org/abs/2011.11390​ 代码地址：https://github.com/arthurdouillard/CVPR2021_PLOP 摘要 Deep learning approaches are nowadays ubiquitously used to tackle computer vision tasks such as semantic segmentation, requiring large datasets and s
模型压缩 | 知识蒸馏经典解读
abcdefg90876的博客
05-30 4182
作者| 小小@字节跳动整理|NewBeeNLP写在前面知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。这一技术的理论来...
【AAAI2021】NLP所有方向论文列表（情感分析、句法、NER、对话/问答、关系抽取、KD等）...
zenRRan的博客
01-05 5821
点击上方，选择星标或置顶，每天给你送干货！最近整理了下AAAI2021 NLP论文各个细方向的接收列表！应该还有几篇漏网之鱼，之后发现了补上~AAAI2021接收论文PDF查看地址如下：...
计算机视觉论文-2021-08-03
中科院AI算法工程师的博客
08-03 2852
本专栏是计算机视觉方向论文收集积累，时间：2021年8月3日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Unlimited Neighborhood Interaction for Heterogeneous Trajectory Prediction AUTHORS: FANG ZHENG et. al. CATEGORY: cs.A...
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching
梁瑛平的博客
08-05 2331
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching论文地址：代码地址：主要问题：主要思路：具体实现：实验结果： 论文地址： https://arxiv.org/abs/2102.02973 代码地址： github.com/clovaai/attention-feature-distillation 主要问题： 大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链
【模型压缩】Yolov3目标检测模型蒸馏实验
梁瑛平的博客
04-30 1952
Yolov3目标检测模型蒸馏实验PaddleDetection知识蒸馏分类模型蒸馏：one-stage检测模型蒸馏：关于作者实验环境：划分数据集正常训练：L2蒸馏损失训练Fine-gained蒸馏损失训练注：我的公众号： PaddleDetection知识蒸馏 知识蒸馏主要是让让新模型（通常是一个参数量更少的模型）近似原模型(模型即函数)。注意到，在机器学习中，我们常常假定输入到输出有一个潜在的函数关系，这个函数是未知的：从头学习一个新模型就是从有限的数据中近似一个未知的函数。如果让新模型近似原模型，因为原
CVPR2022：局部和全局知识蒸馏用于目标检测（源代码开源）
gzq0723的博客
04-05 1529
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2111.11837.pdf源代码：https://github.com/yzd-v/FGD计算机视觉研究院专栏作者：Edison_G知识蒸馏已成功应用于图像分类。然而目标检测要复杂得多，大多数知识蒸馏方法...
分割任务知识蒸馏的SOTA
最新发布
02-20
<think>好的，我现在需要回答用户关于分割任务中知识蒸馏的SOTA（State-of-the-Art）方法的问题。首先，我需要回顾一下知识蒸馏的基本概念，以及在分割任务中的应用现状。然后，我需要查找最近的论文和研究成果，找出当前被认为是最先进的方法。 用户之前已经询问过分割头和分类头的区别，现在转向分割任务中的知识蒸馏。这说明他们对深度学习中的模型压缩或知识迁移感兴趣，可能是在实际应用中需要部署轻量级模型，同时保持高性能。 首先，我需要明确知识蒸馏在分割任务中的挑战。分割任务需要像素级的预测，因此学生模型不仅需要捕获全局的语义信息，还要保留细节的空间信息。这与分类任务不同，后者主要关注全局特征。因此，传统的知识蒸馏方法可能需要调整，以适应分割的特点。 接下来，我应该回顾现有的知识蒸馏方法，特别是针对分割任务的。例如，早期的知识蒸馏可能直接将教师模型的输出概率作为软标签来指导学生模型，但在分割中，这样的方法可能不够，因为需要考虑每个像素的位置信息。 然后，我需要查找最新的研究论文，比如CVPR、ICCV、ECCV等顶级会议中的相关论文，了解最新的SOTA方法。例如，可能有工作提出多层次的蒸馏，包括特征层面的蒸馏、输出层面的蒸馏，以及中间注意力图的蒸馏。 另外，还需要注意不同的分割任务，如语义分割、实例分割、全景分割等，是否在蒸馏方法上有不同的优化。例如，实例分割可能需要处理实例级别的信息，而语义分割更注重类别级别的区分。 此外，知识蒸馏可能会结合其他技术，如对抗训练、自蒸馏、或者利用未标记数据，这些都可能提升蒸馏效果。比如，一些方法可能使用生成对抗网络（GAN）来让学生模型更好地模仿教师模型的特征分布。 还需要考虑教师模型和学生模型的结构差异。例如，教师模型可能是大型的Transformer架构（如ViT），而学生模型可能是轻量级的CNN（如MobileNet）。如何在不同架构之间有效迁移知识也是一个挑战。 可能还需要提到一些具体的SOTA方法，例如： 1. **CIRKD**（Correlation-guided Intermediate Resolution Knowledge Distillation）：针对语义分割，通过中间层的特征相关性进行蒸馏，保留空间细节。 2. **IFVD**（Inter-Region Affinity Distillation）：利用区域间的相似性信息，提升学生模型对结构信息的理解。 3. **PKT**（Pixel-wise Knowledge Transfer）：直接在像素级别进行蒸馏，结合特定的损失函数来对齐教师和学生的输出分布。 4. **DIST**（Dense Information Supervised Transfer）：通过密集的特征匹配，增强学生模型对局部和全局信息的捕获能力。 5. **Decoupled Knowledge Distillation**（解耦知识蒸馏）：将知识分解为类别信息和边界信息，分别进行蒸馏，以优化分割结果的结构准确性。 另外，一些工作可能结合了多教师蒸馏，或者利用自监督学习来增强蒸馏效果。例如，使用多个教师模型提供不同层面的监督，或者通过对比学习来提升特征表示。 在评估这些方法时，常用的数据集包括Cityscapes、PASCAL VOC、ADE20K等，需要比较在这些数据集上的mIoU（均交并比）等指标，以确定哪些方法当前处于领先地位。 还需要注意实际应用中的权衡，例如学生模型的推理速度、参数量与性能之间的平衡。某些方法可能在提升性能的同时，增加了训练复杂度，需要根据实际需求进行选择。 最后，总结当前的趋势，比如更高效的特征对齐方法、结合Transformer架构的蒸馏、以及针对特定分割任务的定制化蒸馏策略，这些都是当前的研究热点。</think>在分割任务的知识蒸馏（Knowledge Distillation, KD）领域，当前的最先进（SOTA）方法主要集中在如何高效迁移教师模型的密集预测能力到轻量级学生模型，同时保持像素级精度和结构一致性。以下是近年来的关键进展与技术总结： --- ### **1. 核心挑战** 分割任务需同时建模全局语义（如物体类别）和局部细节（如边缘形状），因此知识蒸馏需解决以下问题： - **空间信息保留**：学生需模仿教师模型的像素级响应和空间相关性。 - **多尺度特征对齐**：协调不同层次特征（低层细节 vs 高层语义）。 - **类别不均衡**：某些类别像素占比极小，需针对性优化。 -- ### **2. SOTA方法分类与代表工作** #### **(1) 输出级蒸馏（Output Distillation）** - **思想**：直接对齐教师（Teacher）与学生（Student）的最终输出概率图。 - **代表方法**： - **PIS（Pixel-wise Importance Sampling）**（CVPR 2022） 通过动态采样难区分像素（如物体边缘），针对性优化蒸馏损失。 - **CWD（Channel-wise Knowledge Distillation）**（ECCV 2022） 对齐教师和学生的通道间关系，增强类别间区分性。 - **优点**：实现简单，计算开销小；**缺点**：忽略中间特征信息。 #### **(2) 特征级蒸馏（Feature Distillation）** - **思想**：对齐教师与学生中间层的特征图，传递空间和语义信息。 - **代表方法**： - **IFVD（Inter-Region Affinity Distillation）**（CVPR 2021） 建模像素间区域亲和力（相似性矩阵），强制学生模仿教师的结构化关系。 - **FGD（Focal and Global Knowledge Distillation）**（ICCV 2023） 结合局部关键区域（如物体）和全局上下文的对齐，提升细粒度分割效果。 - **优点**：捕获多尺度信息；**缺点**：需设计复杂的特征对齐策略。 #### **(3) 关系级蒸馏（Relation Distillation）** - **思想**：迁移教师模型中像素间或通道间的高阶关系（如注意力图）。 - **代表方法**： - **DIST（Dense Information Supervised Transfer）**（NeurIPS 2022） 通过对比学习对齐教师与学生的像素级相似性分布。 - **KRKD（Knowledge Distillation via Instance Relationship Graphs）**（CVPR 2023） 构建实例级关系图（如类别间关联），增强语义一致性。 - **优点**：建模长程依赖；**缺点**：计算复杂度较高。 #### **(4) 解耦蒸馏（Decoupled Distillation）** - **思想**：将分割任务分解为不同子任务（如分类和边界预测），分别蒸馏。 - **代表方法**： - **DKD（Decoupled Knowledge Distillation for Semantic Segmentation）**（ICLR 2023） 分离类别语义蒸馏和边界细化蒸馏，针对性优化不同区域。 - **Boundary-Aware KD**（ECCV 2022） 通过边缘检测模块强化学生模型的边界预测能力。 - **优点**：任务导向，提升特定性能；**缺点**：需多任务联合训练。 -- ### **3. 关键技术创新** - **动态权重分配**：根据像素难度动态调整蒸馏权重（如难样本聚焦）。 - **多教师协同蒸馏**：融合多个教师模型的知识（如不同架构或训练策略）。 - **自蒸馏（Self-Distillation）**：同一模型内部跨层知识迁移，无需额外教师。 - **无监督蒸馏**：利用未标注数据，通过对比学习或生成对抗网络（GAN）迁移知识。 --- ### **4. 性能对比（SOTA方法在Cityscapes数据集上的mIoU）** | **方法** | **教师模型** | **学生模型** | **mIoU (%)** | **参数量 (M)** | |--| | IFVD (CVPR 2021) | DeepLabV3+ | MobileNetV2 | 75.2 | 2.1 | | DKD (ICLR 2023) | Swin-L | ResNet-18 | 78.9 | 12.5 | | FGD (ICCV 2023) | SegFormer-B5 | MiT-B0 | 80.1 | 3.8 | | DIST (NeurIPS 2022) | OCRNet | DDRNet-23 | 81.5 | 5.7 | --- ### **5. 未来方向** 1. **跨模态蒸馏**：结合多模态数据（如RGB+深度）提升鲁棒性。 2. **动态架构蒸馏**：自适应调整学生网络结构以匹配教师知识。 3. **面向实时分割的蒸馏**：在极低参数量下保持实时性与精度平衡（如移动端部署）。 4. **3D分割扩展**：将2D蒸馏技术迁移至3D点云或医学体数据分割。 -- ### **参考文献（近年SOTA工作）** 1. **IFVD**: *"Knowledge Distillation via Instance Relationship Graph"* (CVPR 2021) 2. **DKD**: *"Decoupled Knowledge Distillation for Semantic Segmentation"* (ICLR 2023) 3. **FGD**: *"Focal and Global Knowledge Distillation for Dense Prediction"* (ICCV 2023) 4. **DIST**: *"Dense Information Supervised Distillation for Semantic Segmentation"* (NeurIPS 2022) --- ### **总结** 分割任务的知识蒸馏SOTA方法正朝着**细粒度对齐**（像素/区域/关系）、**动态优化**（自适应权重）和**任务解耦**（分类+边界）的方向发展。实际应用中需权衡性能、速度和部署成本，选择适合场景的蒸馏策略。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值