Knowledge Distillation(7)——Deep Model Compression: Distilling Knowledge from Noisy Teachers

知识蒸馏与噪声教师
最新推荐文章于 2024-03-20 14:03:32 发布
原创 最新推荐文章于 2024-03-20 14:03:32 发布 · 719 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #ML

本文探讨了DeepModelCompression技术，通过向教师模型输出引入基于噪声的正则化，提高了学生模型的鲁棒性和性能。这种方法模拟了多教师的知识蒸馏过程，通过对教师和学生的logit输出计算带有噪声的L2损失，以增强模型训练。实验表明，此方法在简单分类任务上显著提升了基准性能。

Deep Model Compression: Distilling Knowledge from Noisy Teachers

概述

给teacher的输出加入基于噪声的正则化，提高Student Robustness获得更好的performance
在这里插入图片描述
很粗糙的一种模拟multi-teacher的方式：
在这里插入图片描述

Method

与hinton最开始的KD有两个区别吧：

  1. 只用了一个logit output作为target，计算了一个新的L2 loss,且student没用hard label
    （为什么这样用作者居然也没阐述，不过作者不是第一个这么用的，引用的是‘ Do deep nets really need to be deep?’，可能这篇论文说过，但是这篇论文是2014的，在KD之前就有了，以后可以看看吧）
  2. 在logit output加入了noise扰动，以模拟multi-teacher
    在这里插入图片描述
    在这里插入图片描述
    作者采用对teacher and student’s logit output计算L2 loss：
    在这里插入图片描述
    加入了噪声到teacher的logit输出，所以新的L2 loss：
    在这里插入图片描述
    另外，只是对其中一部分sample进行噪声扰动：
    在这里插入图片描述

实验

teacher：
在这里插入图片描述
student：
在这里插入图片描述
结果：
（实验是和不在logit加噪声对比，看github别人复现，和KD效果差不多）
在这里插入图片描述
对于一个简单的分类网络，最好的从baseline21.94提升到了18.68
不过我怎么看着像个数据增强的trick一样。。。
毕竟同样的数据，在不同的epoch，经过teacher输出后，加入的random噪声不同，也有一定概率没有加入，这不和数据增强差不多嘛。。

知识蒸馏: Distilling the Knowledge in a Neural Network(上)
新兴IT民工的专栏
03-20 1758
整片论文主要讨论和解决一个问题，在模型越来越大，数据集越来越多的情况下，即使算力已经翻了N倍，训练和部署大模型仍然是一个非常耗时的工作。知识蒸馏，distill knowledge通用模型 + 专用模型并行训练的方式。文章的摘要一开头就说的这个事情：这一段说的是说一个普遍的提高机器学习算法性能的方法就是用同样的数据训练多个模型，然后把多个模型的结果拿来做平均，就能提高算法性能。
论文翻译：2021_Towards model compression for deep learning based speech enhancement
www_xuhss_com的博客
04-08 1767
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 摘要1  引言2  算法描述A  基于DNN的语音增强B  迭代非结构化和结构化剪枝C  稀疏正则化D  基于聚类的量化3  实验步骤A  数据处理B&nbsp
Deep Model Compression: Distilling Knowledge from Noisy Teachers论文初读
m0_37665984的博客
11-27 459
目录 方法 加入扰动 与正则化的关系 方法流程 对比实验 固定sigma，改变alpha 在teacher中加噪声 VS 在student中加噪声 其他实验不重要，略 方法 加入扰动 如公式2，在输出层的logits（softmax激活之前）上加入扰动 对一个teacher的扰动不仅可以模拟多个teacher，而且会在loss中加入...
论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers
weixin_30273931的博客
10-12 280
论文地址：https://arxiv.org/abs/1610.09650 主要思想 这篇文章就是用teacher-student模型，用一个teacher模型来训练一个student模型，同时对teacher模型的输出结果加以噪声，然后来模拟多个teacher，这也是一种正则化的方法。 1. teacher输出的结果加噪声以后，然后和student的输出结果计算L2 loss，作为studen...
CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION自信感知多教师知识蒸馏
weixin_43238909的博客
03-20 1718
知识蒸馏最初是为了利用单个教师的额外监督来训练学生模型。为了提高学生的表现，最近的一些变体试图利用来自多个教师的不同知识来源。然而，现有的研究方法主要是通过对多个教师预测进行平均或使用其他无标签策略将它们组合在一起来整个不同来源的知识，这可能会在存在低质量教师预测的情况下误导学生。为了解决这个问题，我们提出了自信感知的多教师知识蒸馏（CA-MKD），他在ground truth标签的帮助下自适应为每个教师预测分配样本置信度，那些接近一个热点标签的教师预测分配了较大的权重。
知识蒸馏论文翻译（1）——CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION（多教师知识提炼）
lsfeitianzhuzhuxia的博客
04-13 3184
基于置信度的多教师知识蒸馏（CA-MKD），该方法在地面真值标签的帮助下，自适应地为每个教师预测分配样本可靠度，并为那些接近一个热标签的教师预测分配较大的权重。此外，CA-MKD还结合了中间层的特征，以稳定知识转移过程。
Private Model Compression via Knowledge Distillation 论文笔记
weixin_30553065的博客
02-23 392
摘要 　　对智能移动应用的需求飙升需要在移动设备上部署强大的深度神经网络（DNN）。然而，DNN的出色性能众所周知地依赖于越来越复杂的模型，而这反过来又与计算开销的增加相关，远远超过了移动设备的容量。更糟糕的是，应用服务提供商需要收集和利用包含敏感信息的大量用户数据来构建复杂的DNN模型。在公共移动设备上直接部署这些模型会带来过高的隐私风险。为了从没有容量和隐私问题的设备深度学习中受益，...
神经网络模型压缩之Knowledge Distillation
rtygbwwwerr的专栏
03-09 1万+
神经网络模型压缩之Knowledge Distillation 1. Background 随着深度学习理论的普及和PC计算能力的提高, Neural Network也日益趋于复杂化–越来越深和越来越大, 比如VGG系列,深度均在10层以上, 残差网络的深度更是从数十到一百以上. 复杂的网络模型带来的是超强的规则学习能力, 虽然以现在动辄几十或上百多机GPU并行的计算能力而言, 这样的巨大...
论文翻译：2021_语音增强模型压缩_Towards model compression for deep learning based speech enhancement...
凌逆战的博客
04-08 1169
论文地址：面向基于深度学习的语音增强模型压缩 论文代码：没开源，鼓励大家去向作者要呀，作者是中国人，在语音增强领域 深耕多年 引用格式：Tan K, Wang D L. Towards model compression for deep learning based speech enhancement[J]. IEEE/ACM transactions on audio, speech, ...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5336
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
多老师知识蒸馏模型——Anomaly detection based on multi-teacher knowledge distillation
weixin_62375715的博客
04-15 1653
第一点，尝试将单老师模型修改成多老师模型，这是因为每个老师网络的结构不同，可能适合不同种类图像的检测，例如Resnet152和Vgg19擅长处理纹理图像，Densenet210更好处理的物体图像。首先在数据预处理时，关于裁剪图像，小一点的还好说，但大图像如果缩小，异常区域也会跟着变小，就会变得难检查。为此，在训练时，我们将正常图随机切割。第三点，在计算特征误差时，除了我们熟悉的MSE均方误差外，还添加了cossim函数，目的是不断迭代优化使老师网络产生的特征值与学生网络产生的特征值方向越来越接近。
知识蒸馏学习
akaweige的博客
07-03 7868
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
深度学习-- > NLP -- > improving multi-task deep neural networks via knowledge distillation for natural
村头陶员外的博客
05-22 1058
本次总结和分享一篇大佬推荐看的论文improving multi-task deep neural networks via knowledge distillation for natural language understanding， 论文链接MT-DNN-KD 动机和创新点 集成学习的方法对提高模型的泛化能力在众多自然语言理解任务上已经得到了验证 但是对于多个深度模型集成而成的集成模型...
（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION
yingpeng_zhong的博客
05-06 4053
（笔记）Model Compression via Distillation and Quantization （笔记）Model Compression via Distillation and Quantization 原文链接：https://arxiv.org/abs/1802.05668 代码： https://github.com/antspy/quantized_distill...
Wide&Deep模型
weixin_43869610的博客
03-04 525
Wide & Deep Learning for Recommender Systems 论文链接：https://arxiv.org/pdf/1606.07792.pdf 动机：在CTR预估任务中利用手工构造的交叉组合特征来使线性模型具有“记忆性”，使模型记住共现频率较高(frequent co-occurrence)的特征组合，往往也能达到一个不错的效果，且可解释性强。但这种方式有着较为明显的缺点： 特征工程成本太高。 对于未曾出现过的特征组合，权重系数为0，无法进行泛化。 所以为了加强模型
知识蒸馏简述（一）
m0_37665984的博客
12-04 1671
写在前面 这是一篇关于知识蒸馏的简述文，为了帮助读者以及我自己能对知识蒸馏的发展脉络有一个清晰的了解进而有所感悟，所以才决定写下这篇水文 本文根据student网络知识的来源，将知识蒸馏分为四大类：output logits transfer，output transfer，middle layer transfer，later hidden layer transfer，每一个分类将用一...
"Do Deep Nets Really Need to be Deep?"阅读笔记
ubunfans的专栏
06-13 3393
这篇文章的主要是思路就是使用一个shallow model 去模仿deep model，使shallow model达到deep model的精度。从原始训练样本训练一个shallow net达到deep net相同的精度是很困难的事情，paper提出了shallow net 使用deep net的结果作为标签。1作者在第一部分提出了几个问题值得思考一下，给定一个1M 训练样本，网络A使用只有一个隐
Logistic回归中的Logit函数和sigmoid函数
热门推荐
海晨威
09-01 2万+
在线性回归中，y=wTxy=wTxy=w^{T}x，是用直线去拟合数据，实现最小二乘意义下的最小预测误差。 在逻辑回归中：logit(p)=log(p1−p)=wTxlogit(p)=log(p1−p)=wTxlogit(p)=log(\frac{p}{1-p})=w^{T}x，可以看作是用直线去拟合Logit函数，通过极大似然估计出参数，使得在该参数下，能以最大概率生成当前的样本。 这里要说...
逻辑回归 logit
weixin_30722589的博客
10-17 1799
[方法转]http://www.powerxing.com/logistic-regression-in-python/ http://blog.csdn.net/lipengcn/article/details/49592221 机器学习公开课：http://www.cnblogs.com/python27/p/MachineLearningWeek03.html 逻辑回归梯度下...
When Object Detection Meets Knowledge Distillation: A Survey
最新发布
04-03
### 关于目标检测与知识蒸馏的研究 目标检测是一项重要的计算机视觉任务，其目的是识别图像中的对象并定位它们的位置。近年来，随着深度学习的发展，单阶段和双阶段的目标检测方法取得了显著进展[^2]。然而，在实际应用中，模型的计算复杂度和内存占用成为部署的主要瓶颈之一。为了缓解这一问题，研究人员提出了多种轻量化策略，其中一种有效的方法是利用知识蒸馏技术。 #### 知识蒸馏概述 知识蒸馏是一种模型压缩技术，通过将大型教师网络的知识迁移到小型学生网络来实现性能提升的同时降低资源消耗。具体而言，教师网络产生的软标签（soft labels）被用来指导学生网络的学习过程，从而使得学生网络能够更好地逼近教师网络的表现[^1]。 #### 结合目标检测与知识蒸馏的技术挑战 当知识蒸馏应用于目标检测领域时，存在一些独特的挑战： - **多尺度特征映射**：目标检测通常涉及多个尺度上的特征提取，这增加了跨层知识传递的难度。 - **边界框回归**：除了分类之外，目标检测还需要精确预测物体位置，因此如何有效地迁移边界框信息是一个重要课题。 - **类别不平衡问题**：真实世界数据集中往往存在严重的正负样本比例失衡现象，这对知识蒸馏算法的设计提出了更高要求。 #### 综述文章推荐 虽然当前并没有直接针对“目标检测+知识蒸馏”的专门综述论文提及到上述引用材料里，但是可以从以下几个方面寻找相关资料： 1. 阅读最新的CVPR/ECCV/ICCV会议论文集，这些顶级会议上经常会有高质量的工作讨论该主题； 2. 查找专注于模型压缩或者高效推理方向的文章，因为这类研究很可能涉及到知识蒸馏的应用场景； 3. 参考其他领域的成功案例，比如自然语言处理(NLP)，看看是否有可借鉴之处用于改进现有方案。 ```python # 示例代码展示了一个简单的知识蒸馏框架伪代码 def knowledge_distillation(student_model, teacher_model, dataloader): optimizer = Optimizer(student_model.parameters()) for data in dataloader: inputs, targets = data # 计算教师模型输出作为辅助监督信号 with torch.no_grad(): teacher_outputs = teacher_model(inputs) student_outputs = student_model(inputs) loss = compute_loss(student_outputs, targets, teacher_outputs) optimizer.zero_grad() loss.backward() optimizer.step() return student_model ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值