典型常见的知识蒸馏方法总结一

FitNets:从‘Hint’到‘Guided’——深度知识蒸馏的中间层引导策略详解 本文深入解析了FitNets在深度知识蒸馏中的创新应用,重点介绍了从Hint层到Guided层的中间层引导策略。通过对比传统输出层蒸馏,FitNets显著提升了学生网络的学习效率,特别是在网络压缩和深度学习模型优化方面表现出色。文章详细探讨了Hint层选择、空间尺寸匹配及分阶段训练等关键技术,为卷积神经网络的高效知识迁移提供了实用解决方案。 阅读详情

来源:https://github.com/HobbitLong/RepDistiller收录的方法

NeurIPS2015: Distilling the Knowledge in a Neural Network

在这里插入图片描述

知识蒸馏开山之作,从logits中蒸馏知识,KL散度损失

ICLR2015:FitNets: Hints for Thin Deep Nets

A hint is defined as the output of a teacher’s hidden layer responsible for guiding the student’s learning process,

we choose a hidden layer of the student, the guided layer, to learn from the teacher’s hint layer

Similarly, we choose the guided layer to be the middle layer of the student network

在这里插入图片描述
与输出的logits概率分布不同,hints最小化教师与学生之间的特征距离,采用L2距离。
在这里插入图片描述

ICLR2017:Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer

在这里插入图片描述

propose attention as a mechanism of transferring knowledge from one network to another 提出将注意力机制作为知识蒸馏的一种方式
propose the use of both activation-based and gradient-based spatial attention maps 提出同时使用基于激活和基于梯度的空间注意力图
show experimentally that our approach provides significant improvements across a variety of datasets and deep network architectures, including both residual and non-residual networks 实验展示了好的效果
show that activation-based attention transfer gives better improvements than full activation transfer, and can be combined with knowledge distillation 基于激活的注意力转移方式优于完全激活的转移
基于激活的注意力图

论文中定义了三种spatial attention的计算方式
在这里插入图片描述

在这里插入图片描述

并给出L1或者L2标准化之后的attention蒸馏损失,还强调it is worth emphasizing that normalization of attention maps is important for the success of the student training

基于梯度的注意力图

在这里插入图片描述

ICCV 2019:Similarity-Preserving Knowledge Distillation

在本文中,我们提出了一种新形式的知识蒸馏损失,其灵感源于这样一个观察结果:语义相似的输入往往会在经过训练的网络中引发相似的激活模式。
保持相似性的知识蒸馏会引导学生网络的训练,使得在教师网络中能产生相似(不相似)激活情况的输入对,在学生网络中也能产生相似(不相似)的激活情况。与以往的蒸馏方法不同,学生网络不需要去模仿教师网络的表示空间,而是要在其自身的表示空间中保持成对的相似性。

在这里插入图片描述
在这里插入图片描述

本文提出了余弦自相似性表示矩阵,和Frobenius 范数来作为蒸馏损失

ICCV 2019:Correlation Congruence for Knowledge Distillation

1. propose a new framework named correlation congruence for knowledge distillation (CCKD), which transfers not only the instance-level information but also the correlation between instances.

在这里插入图片描述

2. a generalized kernel method based on Taylor series expansion is proposed to better capture the correlation between instances.

在这里插入图片描述

CVPR 2019:Variational Information Distillation for Knowledge Transfer

提出了variational information distillation,借助于最大化教师学生之间的互信息

mutual information between two networks based on the variational information maximization

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CVPR 2019:Relational Knowledge Distillation

在这里插入图片描述

RKD aims at transferring structural knowledge using mutual relations of data examples

定义了两种relation,一种是基于距离的2个样本之间的relation,另一种是三个样本之间的余弦角度relation

Distance-wise

在这里插入图片描述
在这里插入图片描述

Angle-wise Distillation

在这里插入图片描述

ECCV 2018:Learning Deep Representations with Probabilistic Knowledge Transfer

在这里插入图片描述

本文提出一个 基于概率的知识转移 (probabilistic knowledge transfer) 的方法。通过概率分布来建模数据的关系,然后通过最大化互信息,将teacher的概率分布知识传递给学生。

使用Teacher的数据之间的条件概率分布,作为知识的载体,传递给Student。

核心思想就是,建模 Teacher和Student的输出之间分布。通过Kernel Density Estimation可以将两个样本i与j之间的概率表示为
在这里插入图片描述

考虑到概率和为1,可以构造成:
在这里插入图片描述
在这里插入图片描述
利用KL散度来最小化教师与学生模型之间概率分布的差异
在这里插入图片描述

可以参考知乎

AAAI 2019:Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons

在介绍方法之前,本文首先定义了两种feature-based的知识蒸馏方法。

第一种是在学生神经网络学习对输入图像进行分类的过程中传递神经元响应,在这种情况下,交叉熵损失和传递损失会结合起来,形成一个单一的综合损失,用于整个训练过程。

第二种方法是在用标签训练学生之前,通过传递教师神经元响应来初始化学生网络。在基于蒸馏损失完成网络初始化后,再依据交叉熵损失对学生网络进行分类训练。

本文讨论第二种feature-based的知识蒸馏方法,即将这种知识蒸馏用于学生网络的初始化学习或者预训练。

所提出的知识传递方法的概念。所提方法聚焦于神经元的激活情况,而非神经元响应的幅度。这种聚焦能够实现对激活边界更精准的传递。
所提出的知识传递方法的概念。所提方法聚焦于神经元的激活情况,而非神经元响应的幅度。这种聚焦能够实现对激活边界更精准的传递。

普通的特征激活蒸馏损失函数

在这里插入图片描述

论文所提出的基于激活边界的蒸馏损失函数

用 max(0,1)来取代ReLU,用L1来取代L2

在这里插入图片描述
但是max(0,1)不连续可微,因此公式(3)中的损失函数不可导,所以不能作为可微分的损失函数

激活传递损失适用于激活边界的传递。然而,由于max(0,1)是一个离散函数,激活传递损失无法通过梯度下降法来最小化。因此,我们提出了一种可通过梯度下降法最小化的替代损失。
最小化激活传递损失与学习一个二元分类器类似。教师神经元的激活情况对应着类别标签。如果教师神经元处于激活状态,那么学生神经元的响应应该大于 0;如果教师神经元处于未激活状态,那么学生神经元的响应应该小于 0。受这种相似性的启发,该替代损失的设计与支持向量机(SVM)(科尔特斯(Cortes)和瓦普尼克(Vapnik)1995 年)中使用的合页损失the hinge loss(罗萨斯科(Rosasco)等人 2004 年)类似。
在这里插入图片描述
将所提出的损失应用于H*W的特征图蒸馏,损失函数可以定义为H和W维度的累加
在这里插入图片描述

NeurIPS 2018:Paraphrasing Complex Network: Network Compression via Factor Transfer

在本文中,我们提出了一种新颖的知识迁移方法,该方法运用卷积操作对教师的知识进行释义,并将其转化以便学生网络使用。这一过程通过两个卷积模块来实现,它们分别被称作 “释义器” 和 “转换器”。“释义器” 通过无监督的方式进行训练,以提取 “教师因子”,“教师因子” 被定义为教师网络的释义信息。位于学生网络的 “转换器” 会提取 “学生因子”,并通过模仿 “教师因子” 来帮助实现对其的转化。
我们观察到,采用我们所提出的因子迁移方法训练的学生网络,其性能优于采用传统知识迁移方法训练的学生网络。
在这里插入图片描述在这里插入图片描述

常言道,如果一个人完全理解某样事物,那么他 / 她应该能够自行对其作出解释。相应地,如果学生网络能够通过训练来复制所提取的信息,这就意味着该学生网络很好地掌握了相关知识。
在本节中,我们将释义器中间层的输出定义为教师网络的 “教师因子”,而对于学生网络,我们利用由若干卷积层构成的转换器来生成 “学生因子”,并训练这些 “学生因子” 去复制 “教师因子”,如图 1 所示。借助这些模块,我们的知识迁移过程主要包含以下两个步骤:

第一步,通过重建损失对释义器进行训练。然后,利用释义器从教师网络中提取 “教师因子”。

在这里插入图片描述
x是教师网络的特征,P是paraphraser的函数,类似于auto-encoder的自监督重建损失。

第二步,将这些 “教师因子” 迁移转化为 “学生因子”,以便学生网络从中学习。

第二步,教师网络和教师的paraphraser权重冻结,利用FT蒸馏损失和交叉熵损失来训练学生网络
在这里插入图片描述
在这里插入图片描述

蒸馏损失为 将教师网络paraphraser输出的特征和学生网络translator输出的特征进行L2归一化之后,最小化他们之间的L1距离损失

CVPR 2017: A gift from knowledge distillation: Fast optimization, network minimization and transfer learning

我们引入了一种新颖的知识迁移技术,在该技术中,来自预训练深度神经网络(DNN)的知识会被提炼出来并迁移至另一个深度神经网络。由于深度神经网络是通过依次经过多个层将输入空间映射到输出空间的,我们将待迁移的提炼知识依据层间的 “流” 来进行定义,这种 “流” 是通过计算来自两层的特征之间的内积来得出的。
当我们将学生深度神经网络与和其规模相同但未经教师网络训练的原始网络进行对比时,所提出的将提炼知识作为两层之间的 “流” 进行迁移的方法呈现出三个重要现象:(1)学习了提炼知识的学生深度神经网络的优化速度比原始模型快得多;(2)学生深度神经网络的性能优于原始深度神经网络;(3)学生深度神经网络能够从针对不同任务训练的教师深度神经网络那里学习提炼知识,而且其性能优于从头开始训练的原始深度神经网络。

通过内积计算两个特征层的FSP矩阵

在这里插入图片描述

第一步,计算两个特征F1和F2之间的FSP矩阵G

在这里插入图片描述

第二步,对教师和学生网络的FSP矩阵进行蒸馏损失计算,损失为均方L2损失

在这里插入图片描述

蒸馏整体架构,多个特征阶段的FSP损失传递

在这里插入图片描述

训练过程,分为两个阶段,第一阶段通过蒸馏损失只优化教师与学生之间的FSP矩阵进行预训练,第二阶段通过标签优化学生的任务损失

在这里插入图片描述

arXiv 2017:Like what you like: Knowledge distill via neuron selectivity transfer

In this paper, we propose a novel knowledge transfer method by treating it as a distribution matching problem. 在本文中,我们提出了一种新颖的知识迁移方法,将其视为一个分布匹配问题来处理。具体而言,我们对教师网络和学生网络之间神经元选择性模式的分布进行匹配。为实现这一目标,我们通过最小化这些分布之间的最大均值差异(MMD)度量设计了一种新的知识迁移(KT)损失函数。将其与原始损失函数相结合,我们的方法能够显著提升学生网络的性能。

我们在多个数据集上验证了该方法的有效性,并进一步将其与其他知识迁移方法相结合,以探索最佳可能的结果。最后但同样重要的是,我们针对诸如目标检测等其他任务对模型进行微调。所得结果同样令人鼓舞,这证实了所学特征的可迁移性。

在这里插入图片描述

学生网络不仅依据真实标签进行训练,而且还会模仿教师网络中间层激活情况的分布。图中的每个圆点或三角形都代表其相应的滤波器激活图。
最大均值差异MMD损失的介绍

在这里插入图片描述

Minimizing the MMD loss is equivalent to transferring neuron selectivity knowledge from teacher to student

在这里插入图片描述
在这里插入图片描述

Linear 形式:

在这里插入图片描述

Polynomial形式

在这里插入图片描述

本文核心思想,就是让学生的中间特征与教师的中间特征之间的分布尽可能接近,采用MMD损失对将两者进行匹配,可视化结果为:

在这里插入图片描述
在这里插入图片描述

CVPR 2018: Deep mutual learning

Large scale distributed neural network training through online distillation

Training shallow and thin networks for acceleration via knowledge distillation with conditional adversarial networks

Improving knowledge distillation with supporting adversarial samples

Knowledge distillation with adversarial samples supporting decision boundary

知识蒸馏学习 大模型在部署到资源有限的设备上(手机、嵌入式设备等)会遇到体积和速度问题,知识蒸馏作为有代表性的模型压缩和加速的技术之一(其他还有:参数裁剪和共享、低秩分解和Transferred compact convolutional filters等),近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型,Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。 阅读详情

相关推荐

典型常见的基于知识蒸馏的目标检测方法总结一

使用feature propagation layer [29]将voxel特征转换为point feature。

practical_sharp的博客 2077

FitNets: Hints for Thin Deep Nets 原理与代码解析

首先介绍知识蒸馏的原理,教师网络 \(T\) 的softmax输出 \(P_{T}=softmax(a_{T})\),其中 \(a_{T}\) 是教师网络pre-softamx的激活向量,\(S\) 表示一个学生网络,网络参数为 \(W_{S}\),输出概率 \(P_{S}=softmax(a_{S})\),学生网络同时在教师网络的输出 \(P_{T}\) 和标签 \(y_{true}\) 的监督下进行训练,为了提供更多的信息还引入了温度 \(\tau >1\),如下学生网络的优化损失函数如下。

00000cj的博客 4997

典型常见的基于知识蒸馏的目标检测方法总结三

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型(PVLM)中提取知识并将其转移到检测器中。然而,由于非自适应的提议裁剪和单层级特征模仿过程,它们在知识提取过程中存在信息破坏问题,并且知识转移效率低下。为了弥补这些局限性,我们提出了一个对象感知蒸馏金字塔(Object-Aware Distillation Pyramid,OADP)框架,包括一个。

practical_sharp的博客 2570

深度学习论文笔记(知识蒸馏)—— FitNets: Hints for Thin Deep Nets

文章目录主要工作知识蒸馏的一些简单介绍 主要工作 让小模型模仿大模型的输出(soft target),从而让小模型能获得大模型一样的泛化能力,这便是知识蒸馏,又称为模型压缩,本文在Hinton提出knowledge distillation方法(下文简称KD)的基础进行扩展,利用teacher模型特征提取器的中间层输出作为hints,结合KD,对比teacher模型更深但更窄的student模型进...

菜到怀疑人生的博客 8291

典型常见的知识蒸馏方法总结三

经典的蒸馏方法通过匹配输出激活值,将表征从 “教师” 神经网络转移到 “学生” 网络。近期的方法还会匹配它们的Jacobian矩阵,或者输出激活值相对于输入的梯度。见之前的博文典型常见的知识蒸馏方法总结一。

practical_sharp的博客 1475

知识蒸馏 综述 Knowledge Distillation: A Survey

Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey,论文地址:https://arxiv.org/abs/2006.05525 (有翻译不周之处,敬请指正) 1. Introduction 深度学习取得了巨大进步,但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效,主要有以下两个方向的研究: 高效的网络模块构建:如MobileNets, ShuffeNets .

doctor_strange**** 1万+

典型常见的基于知识蒸馏的目标检测方法总结二

pc是每个像素点的预测分类概率值最大的概率pr是每个像素点预测的bounding box与GT bounding box的最大IoU得分。然后作者定义了HS得分,用于平衡两个子任务的预测得分:并在此基础上,定义了基于Harmonious的Distillation loss:此外,作者更进一步引入了一种动态变化因子dynamic modulation factor,用于为每个空间像素点施加不同的损失权重作者发现直接模仿教师模型的预测会面临目标冲突问题,这阻碍了预测模仿取得良好的性能。

practical_sharp的博客 2553

什么是特征蒸馏?什么是知识蒸馏?

​​特征蒸馏是一种知识迁移方法,它将教师模型在中间层学到的特征表示(如语义、结构、上下文信息)迁移到学生模型中,让学生模型不仅学会“做什么”(输出),还学会“怎么看”(特征),从而提升整体性能。​​。

m0_74027860的博客 2430

典型常见的知识蒸馏方法总结二

第二部分旨在从教师网络中捕捉长距离依赖关系,由于小型模型的感受野有限且抽象能力不足,这种长距离依赖关系对它们来说是很难学习到的。

practical_sharp的博客 1134

大模型接触(一)——模型蒸馏

模型蒸馏的原理、训练方法、算法、应用场景概述

达分柒的博客 8035

大模型知识蒸馏技术(4)——离线蒸馏

离线蒸馏是知识蒸馏中最早被提出且最为常见的实现方式,其核心在于教师模型和学生模型的训练是分阶段进行的。具体而言,教师模型首先在训练集上进行充分训练,直至收敛,然后利用教师模型的输出(通常是软目标)来指导学生模型的训练。

谷哥的小弟 2454

万字综述 | 一文读懂知识蒸馏

知识蒸馏综述摘要知识蒸馏简介知识Response-Based KnowledgeFeature-Based KnowledgeRelation-Based Knowledge蒸馏离线蒸馏(Offline Distillation)在线蒸馏(Online Distillation)自我蒸馏(Self-Distillation)师生架构蒸馏算法对抗蒸馏(Adversarial Distillation)多教师蒸馏(Multi-Teacher Distillation)跨模态蒸馏(Cross-Modal Dist

u012347027的博客 1万+

大模型知识蒸馏技术(5)——在线蒸馏

在线蒸馏是一种知识蒸馏方式,其核心特点是教师模型和学生模型的参数在训练过程中同时更新,整个蒸馏框架是端到端训练的。这种方式允许教师模型和学生模型相互影响、共同学习,能够更高效地实现知识迁移,动态适应数据变化和任务需求。

谷哥的小弟 3465

简单带你了解大模型时代的知识蒸馏方法

知识蒸馏作为一种高效的模型压缩和知识转移技术,能够在保持模型性能的前提下,大幅降低计算成本和资源需求。无论是在边缘计算、移动设备,还是在大规模机器学习任务中,知识蒸馏都将发挥越来越重要的作用。通过不断的研究与实践,知识蒸馏有望为AI的发展带来更多的创新与突破。

IT枫斗者的博客 4008

关于知识蒸馏的概念原理以及常见方法

借助知识蒸馏,可以在资源受限或大规模在线服务场景中,让深度学习模型变得更轻便、更高效,依然能在性能上与大模型相差无几,甚至更具优势。随着AI应用范围的不断扩大,知识蒸馏也在不断衍生出新的方法与思路,成为深度学习模型部署与优化不可或缺的一环。祝你在知识蒸馏领域取得更多实践成果和创新突破!的一种思路(在不改变任务的情况下把“大模型的知识”迁移到“小模型”)。以下提供关键要点和最佳实践。的一种主要手段,也可视作。

形上得其象,形下合于数;阴阳自济,玄理自明。 729

AIGC领域Stable Diffusion的模型知识蒸馏方法

随着AIGC(人工智能生成内容)技术的快速发展,Stable Diffusion等文本到图像生成模型在创意设计、数字内容生产等领域展现出强大能力。然而,这类模型通常具有庞大的参数量(如Stable Diffusion v1.5包含约86亿参数),导致部署成本高、推理速度慢,难以满足移动端设备、实时生成系统等场景的需求。

AI天才研究院 1172

知识蒸馏:原理、算法与应用

知识蒸馏:原理、算法与应用

a131529的博客 2852

FitNets:FitNets

FitNets FitNets:薄深度网络的提示 运行 FitNets 阶段性训练:THEANO_FLAGS="device=gpu,floatX=float32,optimizer_including=cudnn" python fitnets_training.py fitnet_yaml regressor -he hints_epochs -lrs lr_scale fitnet_yaml:FitNet yaml 文件的路径, regressor:回归器类型,卷积(conv)或全连接(fc), 可选参数 -he hints_epochs: int - 训练第一阶段的时期数。 默认设置为无。 使用验证集确定时期数时保留为无。 使用整个训练集时设置为 X。 可选参数 -lrs lr_scale: float - 在第二阶段应用于预训练层的学习率缩放器。

上一篇: TPAMI2022 Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and
下一篇: 典型常见的知识蒸馏方法总结二
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值