Knowledge Distillation(10)——Born Again Neural Networks

最新推荐文章于 2023-04-29 15:14:28 发布
最新推荐文章于 2023-04-29 15:14:28 发布
阅读量1.6k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Knowledge Distillation 知识蒸馏 文章标签： DL ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/judgechen1997/article/details/101230875
本文介绍了一种训练方法，使学生模型能够在某些方面超越教师模型。这种方法不是为了模型压缩，而是为了让学生模型在性能上超越教师模型。实验结果显示，经过特定训练的学生模型确实实现了这一目标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇论文不是用作模型压缩的，作者想的是让student超越teacher
在这里插入图片描述
其训练方式如下：
在这里插入图片描述
实验结果，student超越teacher了：
在这里插入图片描述

【论文阅读】Born-Again Neural Network
Artistzq的博客
07-04 1348
再生神经网络
Born-Again Neural Networks论文初读
m0_37665984的博客
12-01 4383
目录 摘要 引言 相关文献 知识蒸馏 Resnet和DenseNet Born-Again Network 开头 Selves Born-Again Networks集成的学习顺序 Dark Knowledge刨析 对比试验设置 实验结果 CIFAR-100 其他对比就略掉把（太麻烦了，没啥用） 结论 摘要 训练一个和teacher参...
[深度学习]知识蒸馏技术
摩登都市天空---专栏
11-15 3126
一 知识蒸馏(Knowledge Distillation)介绍 名词解释 teacher - 原始模型或模型ensemble student - 新模型 transfer set - 用来迁移teacher知识、训练student的数据集合 soft target - teacher输出的预测结果（一般是softmax之后的概率） hard target - 样本原本的标签 temperature - 蒸馏目标函数中的超参数 born-again network - 蒸馏的一种，指stud
born-again-neural-network
05-17
去做： 复制纸张 广域网 密集网 在imageNet中测试
Born Again
退役ACMer
09-16 418
再不幻想， 做实， 你的改变不需要别人看见， 自己看到就好。杭州赛区ccpc， one month！
born_again_neuralnet:Born-Again神经网络的非官方pytorch实现
05-18
重生神经网络 Born-Again神经网络的非官方pytorch实现。 链接： ： 知识蒸馏（KD）包括将“知识”从一种机器学习模型（教师）转移到另一种机器学习模型（学生）。 通常，教师是具有出色表现的高容量模型，而学生则更为紧凑。 通过传递知识，人们希望在不牺牲过多表现的情况下从学生的紧凑性中受益。 我们从新的角度研究KD：我们不训练模型，而是训练参数化与他们的老师相同的学生。 例子 数据集：cifar-10 基本模型：ResNet-50 训练 $ python train.py --h usage: train.py [-h] [--weight WEIGHT] [--lr LR] [--n_epoch N_EPOCH] [--batch_size BATCH_SIZE] [--n_gen N_GEN] [--r
自知识蒸馏（知识蒸馏二）
weixin_42939529的博客
11-26 2525
知识蒸馏，主要是自蒸馏文章调研
【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派
记录学习痕迹的公众号：Piper蛋窝
08-01 1488
详细讨论了知识蒸馏，包括 Logits Distillation 与 Feature Distillation 两大流派。
非官方PyTorch实现的Born-Again神经网络探索
1. 神经网络与知识蒸馏（Knowledge Distillation, KD） - 神经网络是一种模仿人脑结构和功能的计算模型，由大量的节点（或称“神经元”）通过网络层互联构成，能够在多层处理中学习数据的复杂模式。 - 知识蒸馏是...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5266
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
Learning Lightweight Lane Detection CNNs by Self Attention Distillation.pdf
04-20
Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals in- herent in lane annotations. Without learning from much richer context, these models often fail in challenging sce- narios, e.g., severe occlusion, ambiguous lanes, and poor lighting conditions. In this paper, we present a novel knowl- edge distillation approach, i.e., Self Attention Distillation (SAD), which allows a model to learn from itself and gains substantial improvement without any additional supervision or labels. Specifically, we observe that attention maps ex- tracted from a model trained to a reasonable level would encode rich contextual information. The valuable contex- tual information can be used as a form of ‘free’ supervision for further representation learning through performing top- down and layer-wise attention distillation within the net- work itself. SAD can be easily incorporated in any feed- forward convolutional neural networks (CNN) and does not increase the inference time. We validate SAD on three pop- ular lane detection benchmarks (TuSimple, CULane and BDD100K) using lightweight models such as ENet, ResNet- 18 and ResNet-34. The lightest model, ENet-SAD, per- forms comparatively or even surpasses existing algorithms. Notably, ENet-SAD has 20 × fewer parameters and runs 10 × faster compared to the state-of-the-art SCNN [16], while still achieving compelling performance in all bench- marks. Our code is available at https://github. com/cardwing/Codes-for-Lane-Detection.
【车道线检测】SAD -- Learning Lightweight Lane Detection CNNs by Self Attention Distillation
热门推荐
筱
08-13 5万+
paper：Learning Lightweight Lane Detection CNNs by Self Attention Distillation Code：github Abstract Without learning from much richer context, these models often fail in challenging scenarios, e.g. ,s...
【阅读笔记】Training Deep Neural Networks in Generations: A More Tolerant Teacher Educates Better Students
盏茶AI
03-28 1834
Training Deep Neural Networks in Generations:A More Tolerant Teacher Educates Better Students是CVPR2018的一篇文章，在知识蒸馏方向对于教师模型和学生模型的学习效果进行了进一步的探讨，在阅读本文之前，需要考虑两个问题， (1)为什么教师和学生网络之间的学习会有效？ 注：在知识蒸馏...
学习笔记：Training Deep Neural Networks in Generations:A More Tolerant Teacher Educates Better Students
m0_59713773的博客
04-29 216
本文主要专注于在几代人迭代中训练深度神经网路。为了优化目标网络也就是学生，需要首先训练另一个具有相同架构的网络也就是教师网络，并用于在下一阶段提供部分信号监督。这种策略可以有效地提高准确性但是其中怎么优化是需要逐步分析的，本文专注于教师的严格性方面，因为严格的教师通常具有很高的准确性方向入手，反向提出问题，宽容的老师是不是意味着有较低的准确性。通过在教师网路中添加一个损失项来使得教师更加宽容。实验结果表明虽然教师网络表现得不那么强大，但是学生表现出持续增长的能力，并最终比其他竞争对手获得更高的分类精度。
Improved Knowledge Distillation via Teacher Assistant小陈读paper系列
qq_68308828的博客
04-11 829
收获挺少的，就只读摘要引言的话
[AAAI 2020] Improved Knowledge Distillation via Teacher Assistant
qq_42170839的博客
03-01 911
当student和teacher间的size gap较大时，student的性能会下降。为了缓解这个问题，我们引入了多步知识蒸馏，应用一个中间大小的网络（助教）来弥补teacher和student之间的gap。
目标检测中的知识蒸馏方法
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
用了这个方法，两周没变过的模型精度居然提升了（附资源）
AI科技大本营
11-26 3678
作者 |Derrick Mwiti译者 | 刘畅编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导语】知识蒸馏是一种模型压缩技术，它利用训练好的大网络（教师网络）去教小网络（学生网络）。较小的网络经过训练后，可有类似于大网络的性能。这样就可以在诸如手机或其他移动端设备等小型设备上部署此类模型。在今天的文章中，将为大家介绍关于几个重要的知识蒸馏的工作进展。一、神经网络的知...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值