Knowledge Distillation(5)——Deep Mutual Learning

最新推荐文章于 2025-03-25 20:55:56 发布
原创 最新推荐文章于 2025-03-25 20:55:56 发布 · 726 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #ML

本文介绍了一种名为DeepMutualLearning的知识蒸馏方法，该方法不依赖于教师模型，而是让多个学生模型相互学习，通过引入额外的相对熵损失，提升模型性能。实验表明，这种方法比传统的教师-学生模式更有效。

之前都是对knowledge重新定义，衍生出的knowledge distillation的变体模型。
本篇博客开始，介绍知识蒸馏的第二类方法：改变学习方式，提高student perfomance。

Deep Mutual Learning CVPR2018

概述

本文核心idea是，没有teacher，一系列student之间相互学习。
本质也是学习了另一个网络的输出，但是学习方式遍了，因而我把它归到第二类论文
在这里插入图片描述
motivation：
在这里插入图片描述
至于why work？
在这里插入图片描述
在这里插入图片描述
这种学习方式更稳定，更容易收敛：
在这里插入图片描述
在这里插入图片描述
以及这个分析还不错（似乎也是翻译的论文）

Method

Model

具体方法很简单，定义了两个网络。除了使用GT对各自进行监督，还引入了一个额外的loss，引导他们进行相互间的学习。
在这里插入图片描述
这个额外的loss，利用相对熵，即KL散度来定义：
在这里插入图片描述
这种额外的loss对于两个网络来说是不一样的，非对称的。也可以用下面这个对称的loss替代，而且效果几乎无差别：
在这里插入图片描述

Optimisation

作者的训练步骤
在这里插入图片描述
两个模型一起训练，且互相学习直到收敛。不会像传统的distillation，student学习一个已经训练好的teacher，还只是用来初始化参数！！

Experiments

两个students也是一个大网络，一个小网络。其相互学习的效果比，比teacher-student的模式要好：
在这里插入图片描述
在这里插入图片描述

论文笔记：A Gift from Knowledge Distillation
DeepIndeed
12-25 903
来源 CVPR2017 名词解释 迁移学习 迁移学习的效果与知识的表示是很相关的。 Because a DNN uses many layers sequentially to map from the input space to the output space, the flow of solving a problem can be defined as the relatio...
A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读
m0_37665984的博客
11-28 2610
目录 摘要 引言 相关工作 知识迁移 快速优化 迁移学习 方法 提出观点 数学表达式 FSP Matrix的损失 学习步骤 实验 快速优化 性能的提升 迁移学习 结论 摘要 提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的 这个方法有三个好处： student网络可以学的...
论文阅读 A Gift from Knowledge Distillation: Fast Optimization
sinat_22078359的博客
06-22 2078
本文提出以下几个观点： 从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。 将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法进行训练。 因为FSP矩阵又两个层的特征得来，所以如果尺寸不同的话，可以用最大池化层拟合。 用Gram矩阵来计算loss函数。Gram矩阵是计算每个通道i与通道j的feature map的内积。Gram matrix的每个值都可以说是代表i通道的feature map与通道j的feature map互相关的程度。如下
Deep Mutual Learning
小闹钟的机器学习时间
12-31 932
这个方法还挺有意思的，从某些方面来说也可以算是multi-teacher multi-student。 摘要 模型蒸馏是一个有效的且广泛使用的可以在老师网络和学生网络间传递知识的技术。典型的应用模式是从一个效果拔群的大网络或者集成传递知识到小网络，这种更适合于内存较少或者需要快速执行的情况。在这个论文中，我们提出了一个深度相互学习（DML）策略，不像在预设的老师和学生间传递知识，而是一堆学生的集...
A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning
weixin_48448726的博客
11-02 814
提出了一种从DNN中提取知识的新方法。该方法将提取的知识确定为用所提出的FSP矩阵计算的求解过程的流程，优于现有的知识转移方法。从三个重要方面验证了所提方法的有效性。该方法优化了DNN，提高了性能。此外，该方法可用于迁移学习任务
【DML】Deep Mutual Learning 深度相互学习，神经网络也可以协作
Joselynzhao
07-22 2939
Deep Mutual LearningAbstract1. Introduction2. Related WorkModel DistillationCollaborative Learning3. Deep Mutual Learning3.1. Formulation3.2. Optimisation3.3. Extension to Larger Student Cohorts3.4. Extension to Semi-supervised Learning5. Conclusion 论文：h.
【知识蒸馏】Deep Mutual Learning
pprp的博客
11-16 1778
【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多，所以本文分析这篇CVPR2018年被接受的论文。同时PPOCRv2中也提到了DML，并提出了CML，取得效果显著。 引言 首先感谢：https://github.com/AberHu/Knowledge-Distillation-Zoo 笔者
【模型压缩+推理加速】知识蒸馏综述解读（Knowledge Distillation）
songxia928_928的博客
03-25 1806
最近Deepseek R1的技术报告中，训练部分提到使用了知识蒸馏，就像系统性的看看蒸馏算法的原理。看了很多的博客，很多都没有详细把知识蒸馏系统的讲清楚。我们还是读一下这篇 2021年的综述 “Knowledge Distillation: A Survey”。虽然这篇文章不是针对大模型的知识蒸馏综述，但可以作为大模型蒸馏学习的入门。这篇综述写的非常详细，系统性总结了知识蒸馏的很多基础知识，比如：知识的类型、蒸馏方案、师生结构、蒸馏算法。以及还有详细的对比效果，充分说明各种蒸馏算法的优劣。
Knowledge Distillation(知识蒸馏，DistillBERT，Theseus，KR)
nakaizura
01-06 4306
Do Deep Nets Really Need to be Deep？ 虽然近年来的趋势如BigGAN，BERT等，动辄上亿参数，几乎就是数据驱动+算力的“暴力”结果。但同时，更加轻量级的升级版模型如ALBERT也能以更少的参数和架构持续刷榜，元学习（meta learning）和零样本学习（Zero-shot learning），还有只需要个位数层数就能取得优异效果的GCN等，都似乎证明了“大...
BERT and Knowledge Distillation
Forlogenの解忧杂货铺
02-23 807
知识蒸馏 知识蒸馏（Knowledge Distillation,KD）是想将复杂模型（teacher network）中的暗知识（dark knowledge）迁移到简单模型（student network）中。一般来说，老师网络具有强大的能力和表现，而学习网络则更为紧凑。通过知识蒸馏，希望学生网络能尽可能逼近亦或是超过老师网络，从而用复杂度更小的模型来获得类似的预测效果。Hinton在Dist...
Students-Performance-System:学生成绩体系，帮助学生提高学业成绩
04-28
学生表现系统 学生成绩系统可帮助学生通过预测成绩来提高他们的学业成绩，并为他们提供建议，以弥补他们的弱点 注意：该网站在第一次运行后会花费一些时间，之后请耐心等待，以便正常运行... 该应用程序可由3种不同类型的用户使用，并且每个用户都有不同的界面/特权等。 这是每种类型的登录信息： 用户名：admin，密码：a1 $$ m2IN12 用户名：学生，密码：1＃lklsaK313 用户名：教育者，密码：3 $ 81jkjjSA 项目要求： Python v3和pip 数据库：PostgreSQL，MySQL，SQLite都经过了测试，可以与项目一起使用，只记得修改project / settings.py数据库的连接信息 如何运行： 安装上述要求 克隆项目并进行必要的数据库配置 安装requirements.text（pip install -r requirements.txt）
Knowledge Distillation(3)——A Gift from Knowledge Distillation
judgechen1997的博客
09-20 959
A Gift from Knowledge Distillation:Fast Optimization, Network Minimization and Transfer Learning 论文阅读Method Method 作者打了个比方，对于人类，老师教学生做题时，一个中间的结果并不重要，我们更应该学习的是解题流程。 这也是本文的核心idea，不拟合大模型的输出，而是去拟合大模型层与层之间...
a gift from knowledge distillation
小闹钟的机器学习时间
01-09 505
看完没啥想法-就是改良一下中间层指导的过程，第二部分训练的时候没有用到soft target。使用gram矩阵表示中间层-也不是一个很新的方法。 最近翻译水平越来越垃圾啦= = abstract 我们介绍啦一个新的技术用来从一个预训练的深度神经网络迁移知识到另一个DNN。考虑到DNN通过一层一层的网络实现从输入空间到输出空间到匹配，我们定义蒸馏的知识以流的形式在层之间传播，这个流是通过计算两层之...
论文精读--A Gift from Knowledge Distillation
m0_73202283的博客
04-19 874
利用内积捕获层与层之间的关系。
Towards Cross-Modality Medical Image Segmentation with Online Mutual Knowledge Distillation论文的研读
属于你的诗雨夕的专栏
12-11 1095
Towards Cross-Modality Medical Image Segmentation with Online Mutual Knowledge Distillation论文的研读 原文出处：英文原文 本文主要翻译了摘要 引言以及结论部分，方法以及结果部分捡重点进行翻译研读，有不恰当之处，敬请指出！ 摘要：深度卷积神经网络的成功部分归功于大量注释的训练数据。然而，在实践中，获取医疗数据注释通常是昂贵且耗时的。考虑到具有相同解剖结构的多模态数据在临床常规中广泛可用，在本文中，我们..
KD论文阅读：A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer
qq_42902997的博客
09-09 1928
主要思想 网络中的不同层之间存在 flow，这种流可以被定义为两个层特征向量之间的 innner product 之前 Gramian 的研究主要是将这个内积应用在一个层之内，这篇文章应用在不同的层之间 这篇文章主要将第一层和最后一层作为主要的研究对象，两个特征层的内积得到的矩阵定义为 FSP 矩阵 优势 fast optimization: 两个阶段训练，第一个阶段获得的 weights 可以用于第二阶段的初始化 improve the performance of a small work: 提升
A Gift from Knowledge Distillation（2017 CVPR）----论文笔记
落了一地秋的博客
09-08 719
A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning（2017 CVPR）Abstract1. Introduction贡献2. Related Work3. Method3.1. Proposed Distilled Knowledge3.2. Mathematical Expression of the Distilled Knowledge3.3. Loss f
知识蒸馏（Knowledge Distillation）
热门推荐
每天进步一点点
10-26 1万+
快乐学习
知识蒸馏 （一） 综述
weixin_41386168的博客
04-15 2349
综述 《Knowledge Distillation: A Survey》2021 《Knowledge Distillation: A Survey》 - 知乎 《Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New》[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intellig
Knowledge distillation + few-shot learning项目实例
最新发布
09-06
提供的参考引用中未提及知识蒸馏与小样本学习结合的项目实例相关内容，不过可以从理论角度了解两者结合的可能应用场景及实例思路。 在医学影像诊断领域，医学影像数据标注成本高、数据量有限，属于典型的小样本场景。通过知识蒸馏与小样本学习结合，可以先训练一个大型的教师模型，使用大量模拟生成的医学影像数据或者公共的医学影像数据集进行预训练，让教师模型学习到丰富的医学影像特征和诊断知识。然后将教师模型的知识蒸馏到一个小样本训练的学生模型上，该学生模型可以在少量标注的特定医院或特定疾病的医学影像数据上进行训练。例如，针对罕见病的医学影像诊断，由于病例稀少，数据量小，利用这种结合方法可以提高诊断的准确性和效率。 在工业缺陷检测中，新的产品型号或者新的缺陷类型出现时，往往只有少量的缺陷样本。可以利用知识蒸馏与小样本学习结合的方法。先构建一个基于大量常见产品缺陷样本训练的教师模型，该模型可以学习到各种缺陷的特征模式。之后将教师模型的知识转移到一个在少量新缺陷样本上训练的学生模型中，使得学生模型能够快速准确地检测新出现的缺陷类型。 ```python # 以下是一个简单的伪代码示例，展示知识蒸馏与小样本学习结合的基本流程 import torch import torch.nn as nn import torch.optim as optim # 定义教师模型 class TeacherModel(nn.Module): def __init__(self): super(TeacherModel, self).__init__() # 定义教师模型的层结构 self.fc1 = nn.Linear(10, 20) self.fc2 = nn.Linear(20, 2) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 定义学生模型 class StudentModel(nn.Module): def __init__(self): super(StudentModel, self).__init__() # 定义学生模型的层结构 self.fc1 = nn.Linear(10, 15) self.fc2 = nn.Linear(15, 2) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 初始化教师模型和学生模型 teacher_model = TeacherModel() student_model = StudentModel() # 假设这里是小样本数据 small_sample_data = torch.randn(5, 10) small_sample_labels = torch.randint(0, 2, (5,)) # 定义损失函数 criterion = nn.CrossEntropyLoss() distillation_loss = nn.KLDivLoss() # 定义优化器 optimizer = optim.Adam(student_model.parameters(), lr=0.001) # 知识蒸馏训练过程 for epoch in range(100): # 教师模型预测 teacher_output = teacher_model(small_sample_data) # 学生模型预测 student_output = student_model(small_sample_data) # 计算知识蒸馏损失 distill_loss = distillation_loss(torch.log_softmax(student_output, dim=1), torch.softmax(teacher_output, dim=1)) # 计算分类损失 class_loss = criterion(student_output, small_sample_labels) # 总损失 total_loss = class_loss + distill_loss # 反向传播和优化 optimizer.zero_grad() total_loss.backward() optimizer.step() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值