Knowledge Distillation by On-the-Fly Native Ensemble论文解读

On-the-Fly Native Ensemble: 知识蒸馏与分支结构解析
最新推荐文章于 2025-03-29 17:42:39 发布
原创 最新推荐文章于 2025-03-29 17:42:39 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#蒸馏网络 #分支结构

该博客介绍了通过动态的本地集成（On-the-Fly Native Ensemble）进行知识蒸馏的方法，探讨了网络结构中的门控机制以及其在ResNet上的应用。损失函数包含分支损失、教师网络损失和KL散度，测试结果显示在网络的最后几个块引入分支结构能显著提高准确率，特别是在CIFAR-100数据集上。在ImageNet数据集上也有提升，但提升幅度较小。这种方法对于不同网络和数据集的效果仍有待进一步验证。

1. 网络结构：

       Gate为全连接网络，用来学习哪个网络更重要。目前利用全连接网络选择网络部件重要性的方法很流行。“三个臭皮匠顶个诸葛亮？”，感觉很像bagging方法。

2. 损失函数：

 

训练时softmax都有温度T=3蒸馏，测试时就恢复T=1。

 

最终的Loss

最低0.47元/天 解锁文章
深入浅出：Knowledge Distillation by On-the-Fly Native Ensemble
qq_36616304的博客
05-23 1350
简述： 这是一篇关于知识蒸馏的论文，知识蒸馏可有效地训练小型通用网络模型，以满足低内存和快速运行的需求。现有的离线蒸馏方法依赖于训练有素的强大教师，这可以促进有利的知识发现和传递，但需要复杂的两阶段训练程序。作者提出了一种用于一阶段在线蒸馏的动态本地集成（ONE）学习策略。具体来说，ONE只训练一个单一的多分支网络，而同时动态地建立一个强大的教师来增强目标网络的学习。 模型overview ONE体系结构如上图所示。ONE包含两个组件： （1）m个具有相同配置的分支。其中每个分支共享低层的.
在线多分支融合——Knowledge Distillation by On-the-Fly Native Ensemble
AI Flash
10-02 3867
"Knowledge Distillation by On-the-Fly Native Ensemble"这篇文章基于给定的基础网络（如Resnet等），通过在网络深层次构造多分支结构，且每个分支作为学生网络，能够融合生成推理性能更强的教师网络。进而，通过教师/学生网络的共同在线学习、教师知识的反馈蒸馏，能够训练得到性能优越的单分支模型或多分支融合模型。 基于ONE（On-the-Fly ...
Ensemble distillation for robust model fusion in federated learning论文笔记
Zoran的博客
11-20 5610
   本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。同时实验表明，本文提出的方法练速度更快，比任何现有的FL技术所需的通信轮数更少。 论文地址：ENSEMBLE DISTILLATION FOR ROBUST MODEL FUSION IN FEDERATED LEARNING 2019 NIPS 算法细节 模型同构的情况下，对于每一轮可以分为两个步 第一步：和FedAv
ENSEMBLE DISTILLATION APPROACHES FOR GRAMMATICAL ERROR CORRECTION翻译
nopSled
03-29 571
摘要
Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning论文笔记
wwer142526363的博客
03-29 1180
就是数据有结构，在"multi-view"的情况下集成独立训练的神经网络可以提高测试准确度，这种优越的test accuracy可以蒸馏进一个单独的模型，通过训练这个单独的模型去匹配集成架构的输出而不是匹配真实标签。
多教师知识蒸馏综述-分类(Knowledge Distillation and Student-Teacher Learning for Visual Intelligence)
yuuka696的博客
12-06 5553
虽然在常见的S-T KD范式下已经取得了令人印象深刻的进展，即知识从一个大容量的教师网络转移到一个学生网络。在这种情况下，知识能力相当有限，为此，一些工作探索从多个老师或一群老师那里学习一个便携式学生。在实践中，学生不仅向一个老师学习，而是学习知识的概念，有来自同一任务或不同任务的指导。通过这种方式，学生可以合并和吸收来自多个教师网络的各种知识表示的插图，并构建一个全面的知识系统。因此，人们提出了许多新的KD方法。
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5336
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
On the Efficacy of Knowledge Distillation 解析
00000cj的博客
04-24 861
paper：On the Efficacy of Knowledge Distillation本文的题目是《论知识蒸馏的有效性》，主要是对教师模型并不是越大越好这一现象进行研究，并提出了缓解方法：early stop。 知识蒸馏背后的思想是，训练好的教师模型学习到的soft probabilities比标签更能反映数据的真实信息。因此人们可能认为，如果教师模型的预测更加准确，这些soft probabilites就能更好的捕获潜在的类别分布信息并且作为一个更好的教师模型为学生模型提供监督信息。因此直觉上会期
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3589
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
DATASET DISTILLATION 论文总结
swpdcsdn的博客
02-12 2195
  以往的方法是不断地输入数据集，通过反向传播迭代的方法，更新网络权重，从而达到想要的训练结果。这篇论文提供了一个新的角度，对于分类网络来说，首先根据原来的数据集和网络的初始化权重（固定或随机），通过反向传播迭代更新新的数据集（生成的新数据集）。来形成新的几乎等于（大于等于）分类数量的数据集，再经过有限的几次迭代以后就可以达到比较高的精度。 新生成的蒸馏数据特别像噪声。 按照论文的章节安排...
CPC (representation learning with contrastive predictive coding)
林小川的博客
09-25 1万+
论文：https://arxiv.org/pdf/1807.03748.pdf 摘要： 监督学习在很多应用方面有了巨大的进步，但是非监督学习却没有如此广的应用，非监督学习是人工智能方面非常重要也非常具有挑战性的领域。这篇论文提出了 constrative predictive coding，一个非监督的通用的算法用于在高维度数据中提取有用的表示信息。算法的核心是通过强大的自回归（autoreg...
神经网络压缩：Mimic（二）Distilling the Knowledge in a Neural Network
cookie_234的博客
06-09 7964
转载请注明出处：西土城的搬砖日常
on the fly 到底几个意思
AHAU10的专栏
03-12 1万+
几乎每篇文档都给你来一个on the fly。知乎搜了几次也没记住，干脆把维基百科的解释翻译了一下：On the fly is a phrase used to describe something that is being changed while the process that the change affects is ongoing. On the fly 是一个短语用于表示一种现
Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
fruit的博客
07-16 1764
ICLR-2018 摘要 深度学习网络在计算机视觉工作（如图像分类和对象检测）方面取得了最先进的准确性。然而，高性能系统通常涉及具有许多参数的大型模型。一旦训练完成，这些表现最佳的模型的一个挑战性方面就是在资源受限的推理系统上进行部署 - 模型（通常是深度网络或宽网络或两者）都是计算和内存密集型的。使用低精度数值和基于知识蒸馏的模型压缩是降低这些部署模型的计算要求和内存占用的常用技术。在本...
NIPS 2018 收录论文及下载链接
愿十四亿神州尽舜尧
05-08 2万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular OptimizationFrancis Bach Structure-Aware Convolutional Neural NetworksJianlong Chang,Jie Gu,Lingfeng Wang,GAOFENG MENG,...
知识蒸馏（Knowledge distillation）必读论文合集
04-19 1811
知识蒸馏
知识蒸馏（Knowledge Distillation）的Pytorch实现以及分析
小石的博客
12-01 2万+
       知识蒸馏（Knowledge Distillation）的概念由Hinton大神于2015年在论文《Distilling the Knowledge in a Neural Network》中提出，论文见：https://arxiv.org/abs/1503.02531。此方法的主要思想为：通过结构复杂、计算量大但是性能优秀的教师神经网络，对结构相对简单、计算量较小的学生神经网络进行...
【DL】模型蒸馏Distillation
qq_15906905的博客
10-30 1597
过去一直follow着transformer系列模型的进展，从BERT到GPT2再到XLNet。然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follow模型压缩之模型蒸馏的故事线。 Hinton在NIPS2014[1]提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部...
Knowledge distillation + few-shot learning项目实例
最新发布
09-06
distill_loss = distillation_loss(torch.log_softmax(student_output, dim=1), torch.softmax(teacher_output, dim=1)) # 计算分类损失 class_loss = criterion(student_output, small_sample_labels) # 总...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值