Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons

最新推荐文章于 2024-04-25 10:24:27 发布
最新推荐文章于 2024-04-25 10:24:27 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： CV大白菜 文章标签： 蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_28778507/article/details/95336119
论文提出不能仅用神经元激活值做蒸馏约束，而应使用激活区域。在网络最后输出的feature map上设置约束损失函数，该函数较复杂，可用L2 loss替换，若feature map size不符，可用conv 1x1对齐，但相差大时对齐会损失语义，此方法或提升不大。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文链接
这篇论文的核心思想非常简单，他认为不能只是用神经元的激活值来做蒸馏约束，而应该使用神经元的激活区域做约束，故在网络最后输出的feature map上做了一个约束的损失函数，这里的损失函数比较复杂，详情可以看论文，但是可以尝试用L2 loss替换，如果feature map size对不上的话，可以使用conv 1x1来对齐，但我认为如果feature map size相差较大的话，其实对齐但过程中就已经损失语义了。该方法可以一试，但我觉得可能提升不大。

【零样本知识蒸馏】（八）CVPR 2020：Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion
梁瑛平的博客
08-30 627
【零样本知识蒸馏】（七）CVPR 2020：Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion论文地址：代码地址：主要思路：基本符号：知识蒸馏：DeepDream：具体实现：DI：ADI：实验结果： 论文地址： https://arxiv.org/abs/1912.08795 代码地址： https://github.com/NVlabs/DeepInversion 主要思路： 这篇文章介绍了深度倒置（DeepInversi
【CVPR 2021】高效计算的知识蒸馏：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup
梁瑛平的博客
08-08 661
【CVPR 2021】高效计算的知识蒸馏：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup论文地址：代码地址：主要问题：主要思路：具体实现：KD 的计算成本：不确定性感知混合策略：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2012.09413 代码地址： https://github.com/xuguodong03/UNIXKD 主要问题： 与之前关注学生模型准确性
【知识蒸馏2018】Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons
qq_22497977的博客
06-30 1488
知识蒸馏论文概述
matlab由频域变时域的代码-hiddenneurons:伴随我们的论文“预测隐藏神经元如何以及何时倾斜测量的突触相互作用”的代码
05-21
matlab由频域变时域的代码
知识蒸馏综述：代码整理
小白学视觉
11-01 3705
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编者荐语收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。1. KD: Knowledge Distillation全称：Distilling the Knowledge in a Neural Network链接：https://arxiv.org/pdf/1503.02531.pd...
Activation Boundaries（AAAI 2019）原理与代码解析
00000cj的博客
03-25 671
激活边界activation boundary是一个分隔超平面，它决定了神经元是激活的还是失活的。有研究指出，神经网络表示了一个由激活边界组合成的复杂函数。还有研究指出神经网络的决策边界是由激活边界组合而成的。这些研究表明将教师模型中的激活边界信息传递给学生模型对于分类模型的提升会有很大的帮助，这是因为分类问题在很大程度上依赖于类间决策边界。 基于此，本文提出了一种聚焦于传递激活边界的知识蒸馏方法。和传统的只关注神经元响应大小的方法不同，本文提出的方法旨在传递神经元是否激活的知识。
【模型蒸馏】从入门到放弃：深度学习中的模型蒸馏技术
zandaoguang的博客
04-12 5085
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要17分钟跟随小博主，每天进步一丢丢来自 |知乎 作者 | 小锋子Shawn地址 | https://zhuanlan.zhi...
A Survey on Knowledge Distillation of Large Language Models
c_cpp_csharp的专栏
04-25 398
在大型语言模型（LLM）时代，知识蒸馏（KD）成为将先进功能从领先的专有LLM（如GPT-4）转移到LLaMA和Mistral等开源同行的关键方法。此外，随着开源LLM的蓬勃发展，KD在压缩这些模型和通过聘请自己作为教师促进他们的自我改进方面发挥着至关重要的作用。本文对KD在LLM领域中的作用进行了全面的调查，强调了它在向小型模型传授先进知识方面的关键作用，以及它在模型压缩和自我改进中的实用性。
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching
梁瑛平的博客
08-05 2389
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching论文地址：代码地址：主要问题：主要思路：具体实现：实验结果： 论文地址： https://arxiv.org/abs/2102.02973 代码地址： github.com/clovaai/attention-feature-distillation 主要问题： 大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链
知识蒸馏 knowledge distill 相关论文理解
Golden-sun的博客
10-12 1904
Knowledge Distil 相关文章1.A Gift from Knowledge Distillation：Fast Optimization, Network Minimization and Transfer Learning (CVPR 2017) 1.A Gift from Knowledge Distillation：Fast Optimization, Network Minimization and Transfer Learning (CVPR 2017) 主要贡献： 1.提出了一种
2020论文阅读笔记集合
记忆碎片的博客
02-20 4724
文章目录trickcnnobject detection trick cnn object detection
神经网络学习
merry163的专栏
10-23 833
隐藏层个数=（i+o）/2+1 The learning rate must not be too high, and the maximum error must not be too low. One layer of hidden neurons is enough in this case       Hayes-Roth Data Set An exampl
BP神经网络学习笔记
jacksonary的博客
12-24 7万+
在BP神经网络中，输入层和输出层的节点个数都是确定的，而隐含层节点个数是部确定的， 可以根据经验公式来确定： h为隐含层节点的数目，m和n分别是输入层和输出层节点的数目，a为1~10之间的调节常数； 关于隐含层,一般认为,增加隐藏层数可以降低网络误差,提高精度,但也使网络复杂化,从而增加了网络训练时间和出现过拟合的倾向,一般情况,应该考虑3层BP网络(即1个隐含层),靠增加隐含层节点数来获
机器学习中使用的神经网络第七讲笔记
Marcovaldong的博客
05-18 9573
Geoffery Hinton教授的*Neuron Networks for Machine Learning*的第六讲介绍了循环神经网络（recurrent neural network, RNN）和Long Short Term Memory。 Modeling sequences: A brief overview在这一小节，我们将对应用于序列（sequences）的不同类型的模型做一个概括。我们从最简单的模型
关于KT（Knowledge Transfer）的一些会议总结
weixin_30432179的博客
11-17 1026
关于KT（Knowledge Transfer）的一些会议总结 今天是是哈芝节，是莫斯林纪念朝圣的节日，也是新加坡的法定节日，忙碌奔波了2天刚好今天有点时间可以整理一下这两天的思绪。 　　15号早上到公司总部报到，本来HR方面的流程至少要到下午才能完的，结果PM还是打电话把我带到客户那边参加KT去了，HR有一千个理由不放但是PM只有一个...
神经网络测试结果很差，该怎么做？
小哈的博客
03-15 3万+
当我们编程实现了神经网络模型，将模型用于测试集时，经常会发现测试的准确率非常的低，神经网络层数很深，通常我们不容易判断具体的梯度下降求解参数的过程，那我们该怎么办呢？我从李宏毅的机器学习视频中总结的办法！！小程序亲身体验过！首先要明白，测试集上的准确率低并不一定是过拟合。有可能在训练集上准确率就很低，也就是说你的模型压根没有训练好！！所以：首先，要用训练好的模型在训练集上跑一遍，如果在训练集上准确...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
Knowledge Distillation for 6D Pose Estimation by
最新发布
12-28
def feature_distillation_loss(teacher_features, student_features): loss_fn = nn.MSELoss() return sum([loss_fn(t_f, s_f) for t_f, s_f in zip(teacher_features, student_features)]) ``` 这种方法不仅有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值