Knowledge Distillation(7)——Deep Model Compression: Distilling Knowledge from Noisy Teachers

最新推荐文章于 2024-03-20 14:03:32 发布
原创 最新推荐文章于 2024-03-20 14:03:32 发布 · 719 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #ML

本文探讨了DeepModelCompression技术，通过向教师模型输出引入基于噪声的正则化，提高了学生模型的鲁棒性和性能。这种方法模拟了多教师的知识蒸馏过程，通过对教师和学生的logit输出计算带有噪声的L2损失，以增强模型训练。实验表明，此方法在简单分类任务上显著提升了基准性能。

Deep Model Compression: Distilling Knowledge from Noisy Teachers

概述

给teacher的输出加入基于噪声的正则化，提高Student Robustness获得更好的performance
在这里插入图片描述
很粗糙的一种模拟multi-teacher的方式：
在这里插入图片描述

Method

与hinton最开始的KD有两个区别吧：

  1. 只用了一个logit output作为target，计算了一个新的L2 loss,且student没用hard label
    （为什么这样用作者居然也没阐述，不过作者不是第一个这么用的，引用的是‘ Do deep nets really need to be deep?’，可能这篇论文说过，但是这篇论文是2014的，在KD之前就有了，以后可以看看吧）
  2. 在logit output加入了noise扰动，以模拟multi-teacher
    在这里插入图片描述
    在这里插入图片描述
    作者采用对teacher and student’s logit output计算L2 loss：
    在这里插入图片描述
    加入了噪声到teacher的logit输出，所以新的L2 loss：
    在这里插入图片描述
    另外，只是对其中一部分sample进行噪声扰动：
    在这里插入图片描述

实验

teacher：
在这里插入图片描述
student：
在这里插入图片描述
结果：
（实验是和不在logit加噪声对比，看github别人复现，和KD效果差不多）
在这里插入图片描述
对于一个简单的分类网络，最好的从baseline21.94提升到了18.68
不过我怎么看着像个数据增强的trick一样。。。
毕竟同样的数据，在不同的epoch，经过teacher输出后，加入的random噪声不同，也有一定概率没有加入，这不和数据增强差不多嘛。。

知识蒸馏: Distilling the Knowledge in a Neural Network(上)
新兴IT民工的专栏
03-20 1758
整片论文主要讨论和解决一个问题，在模型越来越大，数据集越来越多的情况下，即使算力已经翻了N倍，训练和部署大模型仍然是一个非常耗时的工作。知识蒸馏，distill knowledge通用模型 + 专用模型并行训练的方式。文章的摘要一开头就说的这个事情：这一段说的是说一个普遍的提高机器学习算法性能的方法就是用同样的数据训练多个模型，然后把多个模型的结果拿来做平均，就能提高算法性能。
论文翻译：2021_Towards model compression for deep learning based speech enhancement
www_xuhss_com的博客
04-08 1767
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 摘要1  引言2  算法描述A  基于DNN的语音增强B  迭代非结构化和结构化剪枝C  稀疏正则化D  基于聚类的量化3  实验步骤A  数据处理B&nbsp
Deep Model Compression: Distilling Knowledge from Noisy Teachers论文初读
m0_37665984的博客
11-27 459
目录 方法 加入扰动 与正则化的关系 方法流程 对比实验 固定sigma，改变alpha 在teacher中加噪声 VS 在student中加噪声 其他实验不重要，略 方法 加入扰动 如公式2，在输出层的logits（softmax激活之前）上加入扰动 对一个teacher的扰动不仅可以模拟多个teacher，而且会在loss中加入...
CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION自信感知多教师知识蒸馏
weixin_43238909的博客
03-20 1718
知识蒸馏最初是为了利用单个教师的额外监督来训练学生模型。为了提高学生的表现，最近的一些变体试图利用来自多个教师的不同知识来源。然而，现有的研究方法主要是通过对多个教师预测进行平均或使用其他无标签策略将它们组合在一起来整个不同来源的知识，这可能会在存在低质量教师预测的情况下误导学生。为了解决这个问题，我们提出了自信感知的多教师知识蒸馏（CA-MKD），他在ground truth标签的帮助下自适应为每个教师预测分配样本置信度，那些接近一个热点标签的教师预测分配了较大的权重。
知识蒸馏论文翻译（1）——CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION（多教师知识提炼）
lsfeitianzhuzhuxia的博客
04-13 3184
基于置信度的多教师知识蒸馏（CA-MKD），该方法在地面真值标签的帮助下，自适应地为每个教师预测分配样本可靠度，并为那些接近一个热标签的教师预测分配较大的权重。此外，CA-MKD还结合了中间层的特征，以稳定知识转移过程。
论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers
weixin_30273931的博客
10-12 280
论文地址：https://arxiv.org/abs/1610.09650 主要思想 这篇文章就是用teacher-student模型，用一个teacher模型来训练一个student模型，同时对teacher模型的输出结果加以噪声，然后来模拟多个teacher，这也是一种正则化的方法。 1. teacher输出的结果加噪声以后，然后和student的输出结果计算L2 loss，作为studen...
Private Model Compression via Knowledge Distillation 论文笔记
weixin_30553065的博客
02-23 391
摘要 　　对智能移动应用的需求飙升需要在移动设备上部署强大的深度神经网络（DNN）。然而，DNN的出色性能众所周知地依赖于越来越复杂的模型，而这反过来又与计算开销的增加相关，远远超过了移动设备的容量。更糟糕的是，应用服务提供商需要收集和利用包含敏感信息的大量用户数据来构建复杂的DNN模型。在公共移动设备上直接部署这些模型会带来过高的隐私风险。为了从没有容量和隐私问题的设备深度学习中受益，...
神经网络模型压缩之Knowledge Distillation
rtygbwwwerr的专栏
03-09 1万+
神经网络模型压缩之Knowledge Distillation 1. Background 随着深度学习理论的普及和PC计算能力的提高, Neural Network也日益趋于复杂化–越来越深和越来越大, 比如VGG系列,深度均在10层以上, 残差网络的深度更是从数十到一百以上. 复杂的网络模型带来的是超强的规则学习能力, 虽然以现在动辄几十或上百多机GPU并行的计算能力而言, 这样的巨大...
论文翻译：2021_语音增强模型压缩_Towards model compression for deep learning based speech enhancement...
凌逆战的博客
04-08 1169
论文地址：面向基于深度学习的语音增强模型压缩 论文代码：没开源，鼓励大家去向作者要呀，作者是中国人，在语音增强领域 深耕多年 引用格式：Tan K, Wang D L. Towards model compression for deep learning based speech enhancement[J]. IEEE/ACM transactions on audio, speech, ...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5336
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
多老师知识蒸馏模型——Anomaly detection based on multi-teacher knowledge distillation
weixin_62375715的博客
04-15 1653
第一点，尝试将单老师模型修改成多老师模型，这是因为每个老师网络的结构不同，可能适合不同种类图像的检测，例如Resnet152和Vgg19擅长处理纹理图像，Densenet210更好处理的物体图像。首先在数据预处理时，关于裁剪图像，小一点的还好说，但大图像如果缩小，异常区域也会跟着变小，就会变得难检查。为此，在训练时，我们将正常图随机切割。第三点，在计算特征误差时，除了我们熟悉的MSE均方误差外，还添加了cossim函数，目的是不断迭代优化使老师网络产生的特征值与学生网络产生的特征值方向越来越接近。
知识蒸馏学习
akaweige的博客
07-03 7867
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
深度学习-- > NLP -- > improving multi-task deep neural networks via knowledge distillation for natural
村头陶员外的博客
05-22 1058
本次总结和分享一篇大佬推荐看的论文improving multi-task deep neural networks via knowledge distillation for natural language understanding， 论文链接MT-DNN-KD 动机和创新点 集成学习的方法对提高模型的泛化能力在众多自然语言理解任务上已经得到了验证 但是对于多个深度模型集成而成的集成模型...
（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION
yingpeng_zhong的博客
05-06 4053
（笔记）Model Compression via Distillation and Quantization （笔记）Model Compression via Distillation and Quantization 原文链接：https://arxiv.org/abs/1802.05668 代码： https://github.com/antspy/quantized_distill...
Wide&Deep模型
weixin_43869610的博客
03-04 524
Wide & Deep Learning for Recommender Systems 论文链接：https://arxiv.org/pdf/1606.07792.pdf 动机：在CTR预估任务中利用手工构造的交叉组合特征来使线性模型具有“记忆性”，使模型记住共现频率较高(frequent co-occurrence)的特征组合，往往也能达到一个不错的效果，且可解释性强。但这种方式有着较为明显的缺点： 特征工程成本太高。 对于未曾出现过的特征组合，权重系数为0，无法进行泛化。 所以为了加强模型
知识蒸馏简述（一）
m0_37665984的博客
12-04 1671
写在前面 这是一篇关于知识蒸馏的简述文，为了帮助读者以及我自己能对知识蒸馏的发展脉络有一个清晰的了解进而有所感悟，所以才决定写下这篇水文 本文根据student网络知识的来源，将知识蒸馏分为四大类：output logits transfer，output transfer，middle layer transfer，later hidden layer transfer，每一个分类将用一...
深度神经网络（DNN）学习小结
热门推荐
(｡◕‿◕｡)
04-30 1万+
之前写过线性回归和逻辑回归，但是也有的情况这两种都不能很好的拟合，像这种： 假设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构建一个非线性的多项式模型，结果将是数量非常惊人的特征组合，即便只采用两两特征的组合，我们也会有接近 5000 个组合而成的特征，计算起来就非常麻烦了。 这时候就要用到神经网络了，神经网络最重要的功能就是分类了。 神经网络（NN）...
logistic逻辑回归
qq_40415753的博客
10-24 506
逻辑斯谛分布 分布函数属于逻辑斯谛函数，其图形是一条S形曲线（sigmoid curve） 二项逻辑斯谛回归模型 这就是说，在逻辑斯谛回归模型中，输出Y＝1的对数几率是输入x的线性函数。或者说，输出Y＝1的对数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。 模型参数估计（最大似然估计） 逻辑斯谛回归模型学习时，对于给定的训练数据集T.........
Face Model Compression by Distilling Knowledge from Neurons 论文理解
11-23 2164
引入 一. 背景 为保证人脸识别技术的精度要求，需要大而复杂的单个或者组合的深度神经网络实现。 该技术欲迁移至移动终端与嵌入式设备中。 二. 解决方法 运用模型压缩技术，用小的网络去拟合大量数据。 大型 teacher network的知识作为监督，训练一个小而紧凑的student network，运用到了 domain knowledge。 模型蒸馏技术 一. 《Distilling t
When Object Detection Meets Knowledge Distillation: A Survey
最新发布
04-03
def knowledge_distillation(student_model, teacher_model, dataloader): optimizer = Optimizer(student_model.parameters()) for data in dataloader: inputs, targets = data # 计算教师模型输出作为...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值