Knowledge Distillation by On-the-Fly Native Ensemble论文解读

最新推荐文章于 2025-06-30 11:26:33 发布
最新推荐文章于 2025-06-30 11:26:33 发布
阅读量1.2k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 网络蒸馏 文章标签： 蒸馏网络 分支结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/swpdcsdn/article/details/86575963
该博客介绍了通过动态的本地集成（On-the-Fly Native Ensemble）进行知识蒸馏的方法，探讨了网络结构中的门控机制以及其在ResNet上的应用。损失函数包含分支损失、教师网络损失和KL散度，测试结果显示在网络的最后几个块引入分支结构能显著提高准确率，特别是在CIFAR-100数据集上。在ImageNet数据集上也有提升，但提升幅度较小。这种方法对于不同网络和数据集的效果仍有待进一步验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 网络结构：

       Gate为全连接网络，用来学习哪个网络更重要。目前利用全连接网络选择网络部件重要性的方法很流行。“三个臭皮匠顶个诸葛亮？”，感觉很像bagging方法。

2. 损失函数：

 

训练时softmax都有温度T=3蒸馏，测试时就恢复T=1。

 

最终的Loss

最低0.47元/天 解锁文章

200万优质内容无限畅学
【CVPR 2021】高效计算的知识蒸馏：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup
梁瑛平的博客
08-08 662
【CVPR 2021】高效计算的知识蒸馏：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup论文地址：代码地址：主要问题：主要思路：具体实现：KD 的计算成本：不确定性感知混合策略：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2012.09413 代码地址： https://github.com/xuguodong03/UNIXKD 主要问题： 与之前关注学生模型准确性
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
在线多分支融合——Knowledge Distillation by On-the-Fly Native Ensemble
AI Flash
10-02 3814
"Knowledge Distillation by On-the-Fly Native Ensemble"这篇文章基于给定的基础网络（如Resnet等），通过在网络深层次构造多分支结构，且每个分支作为学生网络，能够融合生成推理性能更强的教师网络。进而，通过教师/学生网络的共同在线学习、教师知识的反馈蒸馏，能够训练得到性能优越的单分支模型或多分支融合模型。 基于ONE（On-the-Fly ...
深入浅出：Knowledge Distillation by On-the-Fly Native Ensemble
qq_36616304的博客
05-23 1313
简述： 这是一篇关于知识蒸馏的论文，知识蒸馏可有效地训练小型通用网络模型，以满足低内存和快速运行的需求。现有的离线蒸馏方法依赖于训练有素的强大教师，这可以促进有利的知识发现和传递，但需要复杂的两阶段训练程序。作者提出了一种用于一阶段在线蒸馏的动态本地集成（ONE）学习策略。具体来说，ONE只训练一个单一的多分支网络，而同时动态地建立一个强大的教师来增强目标网络的学习。 模型overview ONE体系结构如上图所示。ONE包含两个组件： （1）m个具有相同配置的分支。其中每个分支共享低层的.
对比 交叉熵损失（Cross-Entropy Loss）和KL散度（Kullback-Leibler Divergence）
最新发布
chwei20002005的博客
06-30 960
对比 交叉熵损失（Cross-Entropy Loss）和KL散度（Kullback-Leibler Divergence）
Ensemble distillation for robust model fusion in federated learning论文笔记
Zoran的博客
11-20 5515
   本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。同时实验表明，本文提出的方法练速度更快，比任何现有的FL技术所需的通信轮数更少。 论文地址：ENSEMBLE DISTILLATION FOR ROBUST MODEL FUSION IN FEDERATED LEARNING 2019 NIPS 算法细节 模型同构的情况下，对于每一轮可以分为两个步 第一步：和FedAv
ENSEMBLE DISTILLATION APPROACHES FOR GRAMMATICAL ERROR CORRECTION翻译
nopSled
03-29 466
摘要
Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning论文笔记
wwer142526363的博客
03-29 1087
就是数据有结构，在"multi-view"的情况下集成独立训练的神经网络可以提高测试准确度，这种优越的test accuracy可以蒸馏进一个单独的模型，通过训练这个单独的模型去匹配集成架构的输出而不是匹配真实标签。
Self Pseudo Entropy Knowledge Distillation for Semi-supervised Semantic Segmentation 论文阅读
weixin_51657614的博客
07-20 975
SUPERVISED语义分割方法依靠高质量的标记数据，在众多图像领域取得了显著的效果，如自然图像[1]-[4]、遥感图像[5]-[8]、医学图像[9]-[12]等。然而，在一些实际场景中，由于耗时的数据收集和标注，以及需要专业的理解，很难获得专家注释。此外，标注者的主观认知偏差问题使监督学习容易过拟合偏差，从而使模型无法学习到数据中嵌入的正确知识。为了解决这个问题，半监督语义分割得到了很多关注[13]-[35]，它利用大量的原始数据来辅助训练，当只有很少的标记数据可用时。
多教师知识蒸馏综述-分类(Knowledge Distillation and Student-Teacher Learning for Visual Intelligence)
yuuka696的博客
12-06 5288
虽然在常见的S-T KD范式下已经取得了令人印象深刻的进展，即知识从一个大容量的教师网络转移到一个学生网络。在这种情况下，知识能力相当有限，为此，一些工作探索从多个老师或一群老师那里学习一个便携式学生。在实践中，学生不仅向一个老师学习，而是学习知识的概念，有来自同一任务或不同任务的指导。通过这种方式，学生可以合并和吸收来自多个教师网络的各种知识表示的插图，并构建一个全面的知识系统。因此，人们提出了许多新的KD方法。
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 1万+
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3537
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
NIPS 2018 收录论文及下载链接
愿十四亿神州尽舜尧
05-08 2万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular OptimizationFrancis Bach Structure-Aware Convolutional Neural NetworksJianlong Chang,Jie Gu,Lingfeng Wang,GAOFENG MENG,...
神经网络模型压缩之Knowledge Distillation
rtygbwwwerr的专栏
03-09 1万+
神经网络模型压缩之Knowledge Distillation 1. Background 随着深度学习理论的普及和PC计算能力的提高, Neural Network也日益趋于复杂化–越来越深和越来越大, 比如VGG系列,深度均在10层以上, 残差网络的深度更是从数十到一百以上. 复杂的网络模型带来的是超强的规则学习能力, 虽然以现在动辄几十或上百多机GPU并行的计算能力而言, 这样的巨大...
NeurIPS 2018 | 腾讯AI Lab详解3大热点：模型压缩、机器学习及最优化算法
腾讯AI实验室
12-11 2219
感谢阅读腾讯AI Lab微信号第64篇文章。AI领域顶会NeurIPS正在加拿大蒙特利尔举办。本文针对实验室关注的几个研究热点，模型压缩、自动机器学习、机器学习与最优化算...
Knowledge Distillation
zhangjf26的博客
08-07 5192
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
DATASET DISTILLATION 论文总结
swpdcsdn的博客
02-12 2167
  以往的方法是不断地输入数据集，通过反向传播迭代的方法，更新网络权重，从而达到想要的训练结果。这篇论文提供了一个新的角度，对于分类网络来说，首先根据原来的数据集和网络的初始化权重（固定或随机），通过反向传播迭代更新新的数据集（生成的新数据集）。来形成新的几乎等于（大于等于）分类数量的数据集，再经过有限的几次迭代以后就可以达到比较高的精度。 新生成的蒸馏数据特别像噪声。 按照论文的章节安排...
神经网络压缩：Mimic（二）Distilling the Knowledge in a Neural Network
cookie_234的博客
06-09 7916
转载请注明出处：西土城的搬砖日常
论文阅读：Representation Learning with Contrastive Predictive Coding
newworld123made的博客
12-09 4753
Representation Learning with Contrastive Predictive Coding 参考一些NLP方法 理解Contrastive Learning CPC Motivation: 该论文认为，随着预测未来更多的帧，一些noisy的低层信息会被忽略掉，更多的共享信息(该论文称之为slow features)会被提取到，这也是一些更应被关注的信息。论文举了几...
knowledge distillation(2) --FitNets
03-20
### FitNets架构及其实现 FitNets 是一种早期的知识蒸馏方法，其核心思想在于不仅传递最终的预测结果（即软标签），还通过中间层特征图的学习来增强模型之间的知识迁移。这种方法特别适用于小型学生网络无法完全...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值