Knowledge Distillation(11)——teacher assistant

最新推荐文章于 2024-08-31 08:52:27 发布
原创 最新推荐文章于 2024-08-31 08:52:27 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #ML

本文探讨了在知识蒸馏过程中引入助教模型以优化学生模型学习效率的方法。研究指出，当教师模型与学生模型之间的差距过大时，学习效果会下降。通过引入一个或多个助教模型可以有效缓解这一问题，提升知识迁移的效果。

motivation: 希望a teacher can effectively transfer its knowl-
edge to students up to a certain size，
但有时gap太大，效果反而差，
正如mutual learning发现跟teacher学还不如和一个与自己目前水平相当（虽然网络结构差很多）的student学
所以助教的概念都出来了：
在这里插入图片描述
teacher student 差距太大，学习效果反而不好：
在这里插入图片描述

这个实验很有趣：
在这里插入图片描述
看完第三个因素后，我觉得是不是gap太大时，把T调大一点就好了啊……
不过可能也不对，毕竟这个teacher才10层，prediction也没有那么hard吧，有些论文里面teacher student都是resnet这种，也没听说T要调特别大

在这里插入图片描述

teacher和student之间引入一个TA是有效的，然而又有了这些问题：
在这里插入图片描述
作者说用accuracy平均，然后得到对应TA的层数
在这里插入图片描述
我觉得这种可操作性太差，平均accuracy对应多少层还不是得训练了才知道，直接(10+2)/2不好，求几何平均数我觉得更科学点10×2=4.5\sqrt{10\times2}=4.510×2​=4.5

在这里插入图片描述
这个图也很有意思，似乎TA越多越密集，迁移效果越好：
在这里插入图片描述

Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation论文解读
Hello World
10-07 597
前言 许久没写博客，今天趁着假期最后一天，分享下今天看到的一篇关于自蒸馏的论文。 题目：Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation 地址：https://arxiv.org/abs/2110.00329 github：https://github.com/zhengli427/TESKD/ 主要思路是融合了 abstract ...
iccv2021 知识蒸馏文章review
Hello World
10-12 892
前言 本文主要是总结iccv2021里的一些关于知识蒸馏的文章，希望对之后的工作有所启发 所有论文地址：https://openaccess.thecvf.com/ICCV2021
[AAAI 2020] Improved Knowledge Distillation via Teacher Assistant
qq_42170839的博客
03-01 982
当student和teacher间的size gap较大时，student的性能会下降。为了缓解这个问题，我们引入了多步知识蒸馏，应用一个中间大小的网络（助教）来弥补teacher和student之间的gap。
Improved Knowledge Distillation via Teacher Assistant小陈读paper系列
qq_68308828的博客
04-11 911
收获挺少的，就只读摘要引言的话
蒸馏Knowledg Distilling
Black eyes的博客
12-12 680
文章目录蒸馏基础知识Distilling the Knowledge in a Neural Network 2015 HintonDeep mutual learning 蒸馏基础知识 Distilling the Knowledge in a Neural Network 2015 Hinton 什么是知识蒸馏： 知识蒸馏中的"知识"，其实指的就是对于网络模型中参数权重的一些抽取/迁移的操作。 知识蒸馏的作用： 模型压缩。 模型压缩一般有什么其他的方法 1、模型剪枝（Model Pruning） 1.
推荐开源项目：Teacher-Assistant-Knowledge-Distilliation —— 深度学习知识蒸馏的高效工具箱
gitblog_00017的博客
05-26 562
推荐开源项目：Teacher-Assistant-Knowledge-Distilliation —— 深度学习知识蒸馏的高效工具箱 在深度学习领域，知识蒸馏作为一种模型压缩和性能提升的重要手段，正日益受到研究者和开发者的广泛关注。今天，我们要向您隆重介绍一个名为 Teacher-Assistant-Knowledge-Distilliation 的开源项目，这是一个基于PyTorch构建的强大知...
引入助教来提高知识蒸馏效率
shizuguilai的博客
01-25 3075
引入教师助理来提高知识蒸馏效率知识蒸馏简单介绍摘要 参考论文：Improved Knowledge Distillation via Teacher Assistant. ！声明！文章的图片均来自以上论文 知识蒸馏简单介绍         在介绍论文前，先向大家介绍一下什么是知识蒸馏。知识蒸馏：一种神经网络的压缩方法。知识蒸馏背后的想法是不仅通过真实标签提供的信息，而且通过观察教师网络（T）如何表示和处理数据来培训学生网络（S）
【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation
qq_45128278的博客
03-09 4220
摘要 知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：（i）将每个教师与潜在的表示相关联，以自适应地学习实例级教师重要性权重，从而获得综合软目标（高级知识）和（ii）使中级提示（中.
Knowledge Distillation论文阅读之：综述文章：Knowledge Distillation
sjyttkl的专栏
03-03 1301
目录 1. Introduction 2. Background 3. Knowledge 3.1 Response-base Knowledge 3.2 Feature-Based Knowledge 3.3 Relation-Based Knowledge 摘要 本问提供了 KD 的复杂研究包括了下述方面： KD 的种类 训练方案 teacher-student 结构 蒸馏算法 表现对比和实际应用 在此基础上，简要回顾了知识蒸馏面临的挑战，并对未来的研究方向进行了讨论和展望
knowledge distillation 论文阅读之：ResKD: Residual-Guided Knowledge Distillation
qq_42902997的博客
11-02 1208
文章目录ABSTRACTINTRODUCTION ABSTRACT 知识蒸馏是把知识从复杂的 teacher network 迁移到轻量级的 student network 的有效方法，旨在压缩神经网络。 然而由于 teacher 和 student 之间参数量的巨大差异，他们的表现也有非常大的差别 本文将通过一个新的视角来审视知识蒸馏，利用 teacher 和 student 之间的知识差距（knowledge gap 或者称作 residual：残差）作为引导，来训练一个更加轻量级的 student
教师助手知识蒸馏项目教程
gitblog_00569的博客
08-31 517
教师助手知识蒸馏项目教程 1、项目介绍 教师助手知识蒸馏（Teacher-Assistant-Knowledge-Distillation）是一个用于改进知识蒸馏过程的开源项目。知识蒸馏是一种技术，通过使用一个大型预训练网络（教师）来训练一个较小的网络（学生），以实现模型压缩和性能优化。本项目通过引入中间大小的网络（教师助手）来桥接学生和教师之间的差距，从而提高学生网络的性能。 2、项目快速启动 ...
知识蒸馏 - Teacher与Student爱恨情仇
说了脾气不好的博客
11-21 3704
知识蒸馏 - 老师与学生的爱恨情仇 这是一篇自己读知识蒸馏的一些论文的笔记。为了帮助自己记忆与理解，举了一些例子。 若有不准确或者不恰当，欢迎批评指教。 以下主要内容来自以下论文： [1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015. [2] Cho J H, Hariharan B. On the Efficacy of
知识蒸馏 （一） 综述
weixin_41386168的博客
04-15 2349
综述 《Knowledge Distillation: A Survey》2021 《Knowledge Distillation: A Survey》 - 知乎 《Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New》[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intellig
The State Of Knowledge Distillation For Classification Tasks
weixin_37958272的博客
07-08 403
The State Of Knowledge Distillation For Classification Tasks 我们调查了简单分类任务的各种知识提取（KD）策略，并实现了一组声称具有最新准确性的技术。我们使用标准化的模型架构、固定的计算预算和一致的训练计划进行的实验表明，这些蒸馏结果中的许多很难重现。这在使用某种形式的特征提取的方法中尤其明显。进一步的检查显示出缺乏可概括性，这些技术可能只适用于特定的架构和培训设置。我们观察到，适当调谐的经典蒸馏与数据增强训练方案相结合，比其他技术给出了正交改进。
[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New
weixin_44189610的博客
02-14 3096
作者简介： 发布期刊：TPAMI 作者单位：韩国科学技术院（KAIST） 作者1：Lin Wang（机械工程系博士生），研究兴趣包括底层视觉（图像超分辨率和去模糊）、基于事件相机的视觉、深度学习（GAN、知识迁移、对抗攻击、Few-shot learning）、VR/AR。 作者2：Kuk-Jin Yoon（机械工程系副教授），研究兴趣包括基于视觉的ADAS、立体视觉、三维重建、视觉目标跟踪、SLAM和SFM。 论文概要： 该论文是对于网络轻量化中的知识蒸馏的综述。系统的分析了只是蒸馏的研究现状，并 正文翻
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3589
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
2021 ICCV、CVPR 知识蒸馏相关论文
u014546828的博客
10-29 3661
2021 ICCV Perturbed Self-Distillation: Weakly Supervised Large-Scale Point Cloud Semantic Segmentation [pdf] [supp] [bibtex] Densely Guided Knowledge Distillation Using Multiple Teacher Assistants [pdf] [supp] [arXiv] Figure 1. Problem defini...
CVPR 2024｜涨点！中科院&中山大学提出：知识蒸馏中的Logit标准化！
阿木寺的博客
04-09 3658
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/扩散和多模态】微信交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！作者丨派派星 转载自：极市平台传统知识蒸馏默认学生/教师网络的温度是全局一致的，这...
Improving Knowledge Distillation using Orthogonal Projections
最新发布
08-06
知识蒸馏（Knowledge Distillation, KD）作为模型压缩的一种有效手段，近年来在深度学习领域得到了广泛研究。通过将复杂模型（教师模型）的知识迁移到较小的模型（学生模型）中，可以显著减少计算资源消耗，同时保持较高的性能[^2]。然而，传统的知识蒸馏方法在处理高维特征空间时可能会遇到信息冗余或噪声干扰的问题，这限制了学生模型的学习效果。 为了进一步提升知识蒸馏的效果，研究人员开始探索基于正交投影（Orthogonal Projections）的技术。正交投影的核心思想是将教师模型和学生模型的特征空间映射到一个共享的正交子空间中，从而减少冗余信息并增强关键特征的表达能力。这一方法在多个方面提升了知识蒸馏的表现： ### 正交投影在知识蒸馏中的应用 1. **特征对齐与降维** 正交投影可以通过构建一个低维的正交基来对教师模型和学生模型的特征进行对齐。这样不仅可以降低特征维度，还能保留最重要的语义信息。具体来说，使用主成分分析（PCA）或线性判别分析（LDA）等方法，可以提取出最具判别性的特征方向，并将学生模型的输出投影到这些方向上，从而实现更有效的知识迁移。 2. **损失函数设计** 在传统知识蒸馏中，通常使用KL散度或均方误差（MSE）作为损失函数来衡量教师模型和学生模型之间的差异。引入正交投影后，可以在投影后的特征空间中定义新的损失函数，例如使用余弦相似度或正交损失（Orthogonal Loss）来鼓励学生模型学习与教师模型一致的方向。例如，以下是一个基于余弦相似度的损失函数示例： ```python import torch import torch.nn as nn class OrthogonalProjectionLoss(nn.Module): def __init__(self): super(OrthogonalProjectionLoss, self).__init__() self.cos_sim = nn.CosineSimilarity(dim=-1) def forward(self, teacher_features, student_features): # Normalize features teacher_features = F.normalize(teacher_features, p=2, dim=1) student_features = F.normalize(student_features, p=2, dim=1) # Compute cosine similarity similarity = self.cos_sim(teacher_features, student_features) loss = 1 - similarity.mean() return loss ``` 3. **多视角学习与正交性约束** 在某些任务中，如图像到视频的重识别（Image-to-Video Re-ID），学生模型可以从多个视角中学习教师模型的知识。通过引入正交性约束，可以确保学生模型在不同视角下的特征表示具有良好的区分能力。例如，在Views Knowledge Distillation (VKD) 中，学生模型被要求在较少的视角下恢复教师模型在多个视角下的特征表示，从而提升其泛化能力和鲁棒性[^3]。 4. **信号传播分析与正交性优化** 对于大型语言模型（LLM），信号传播分析（Signal Propagation Analysis）可以用于理解模型内部的信息流动。结合正交投影技术，可以优化学生模型的信号传播路径，使其更接近教师模型的行为。具体而言，通过对教师模型和学生模型的中间层特征进行正交分解，可以识别出对最终输出影响最大的特征方向，并在训练过程中对这些方向进行重点优化[^1]。 ### 结论 基于正交投影的知识蒸馏方法在多个方面提升了传统KD的效果。通过特征对齐、损失函数设计、多视角学习以及信号传播分析，学生模型能够更有效地从教师模型中提取关键知识，从而在保持较小模型规模的同时实现更高的性能。未来的研究方向可能包括更高效的正交投影算法设计、动态调整投影空间的方法，以及在不同任务和模型架构中的广泛应用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值