Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量704 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Distilling Survey Paper 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/130994202
本文全面探讨了知识蒸馏（KD）及其在视觉智能中的应用，包括从单一到多教师的蒸馏策略，无数据、小样本和跨模态学习的情况。还讨论了在线和无教师蒸馏，以及标签需求和无标签蒸馏的挑战。此外，研究了新学习度量、对抗学习和图表示在KD中的作用，并展望了未来的研究方向，如NAS、GNN和跨领域集成。

本文是蒸馏学习综述系列的第四篇文章，Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks的一个翻译。

视觉智能的知识蒸馏与学生-老师学习:回顾与新展望

摘要

1 引言

2 KD是什么？为什么要关注它？

3 KD的理论分析

4 基于教师数量的KD

4.1 从一个老师进行蒸馏

4.1.1 来自logits的知识

4.1.2 来自中间层的知识

4.2 从多个教师进行蒸馏

4.2.1 从logits集合中进行蒸馏

4.2.2 从特征集合中进行蒸馏

4.2.3 通过统一数据源进行蒸馏

4.2.4 从单教师到多个子教师

4.2.5 从异构的老师中定制学生

4.2.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多教师知识蒸馏综述-分类(Knowledge Distillation and Student-Teacher Learning for Visual Intelligence)
yuuka696的博客
12-06 5529
虽然在常见的S-T KD范式下已经取得了令人印象深刻的进展，即知识从一个大容量的教师网络转移到一个学生网络。在这种情况下，知识能力相当有限，为此，一些工作探索从多个老师或一群老师那里学习一个便携式学生。在实践中，学生不仅向一个老师学习，而是学习知识的概念，有来自同一任务或不同任务的指导。通过这种方式，学生可以合并和吸收来自多个教师网络的各种知识表示的插图，并构建一个全面的知识系统。因此，人们提出了许多新的KD方法。
知识蒸馏 综述 Knowledge Distillation: A Survey
热门推荐
doctor_strange****
04-26 1万+
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New
weixin_44189610的博客
02-14 3085
作者简介： 发布期刊：TPAMI 作者单位：韩国科学技术院（KAIST） 作者1：Lin Wang（机械工程系博士生），研究兴趣包括底层视觉（图像超分辨率和去模糊）、基于事件相机的视觉、深度学习（GAN、知识迁移、对抗攻击、Few-shot learning）、VR/AR。 作者2：Kuk-Jin Yoon（机械工程系副教授），研究兴趣包括基于视觉的ADAS、立体视觉、三维重建、视觉目标跟踪、SLAM和SFM。 论文概要： 该论文是对于网络轻量化中的知识蒸馏的综述。系统的分析了只是蒸馏的研究现状，并 正文翻
Knowledge Distillation & Student-Teacher Learning for Visual Intelligence: A Review & New Outlooks
qq_43812519的博客
06-08 1090
论文地址：http://arxiv.org/abs/2004.05937 github地址：无 这是篇关于知识蒸馏的综述文章。知识蒸馏被认为是用于模型压缩的非常有效的一种方式。本文作者从模型压缩和知识迁移两个应用场景概述了近年来对知识蒸馏的研究。 Outlines 知识蒸馏的定义 由Hinton等人提出，表示较小规模的学生网络的训练过程由较大规模的教师网络的监督进行。其目标函数可表示为： 其中H为损失函数类型，y是真实标签，σ\sigmaσ是含有温控系数TTT的softmax函数，zs,ztz_s, z_
TPAMI2022 Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and
practical_sharp的博客
12-06 1322
在常见的单一教师（S-T）知识蒸馏（KD）范式下，已经取得了令人瞩目的进展，即知识从一个高容量的教师网络转移到一个学生网络。然而在这种设定下，知识容量相当有限 [48]，并且在某些特殊情况（如跨模型知识蒸馏 [82]）下，知识多样性也很匮乏。为此，一些研究工作探索了从多个教师或教师集合中学习一个可迁移的学生模型。这背后的直觉可以用人的学习认知过程来类比解释。在实际情况中，学生并非仅仅从单个教师那里学习，而是在同一任务上接受多个教师的有益指导，或者在不同任务上接受不同教师的指导时，能更好地学习某个知识概念。
知识蒸馏综述
xys430381_1的专栏
06-16 1422
参考： 知识蒸馏简述（一） 知识蒸馏简述（二） 知识蒸馏是什么？一份入门随笔 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作（xys：关于温度T的讨论）
Knowledge distillation comprehensive survey
qq_45027419的博客
03-28 566
利用教师-学生体系结构的知识提炼的自然特性，知识提炼被用作解决对抗性攻击或深度模型的扰动的有效策略（Papernot等人，2016年;罗斯和多希-贝莱斯，2018年;Goldblum等人，2020年;Gil等人，2019）以及具体而言，敌对样本的扰动可以通过蒸馏由教师网络的稳健输出克服（Ross和Doshi-Velez，2018;Papernot等人，2016年）。当然，知识提炼还有其他特别有趣的应用，例如神经体系结构搜索（Macko等，2019年;
典型常见的知识蒸馏方法总结三
practical_sharp的博客
12-07 1345
经典的蒸馏方法通过匹配输出激活值，将表征从 “教师” 神经网络转移到 “学生” 网络。近期的方法还会匹配它们的Jacobian矩阵，或者输出激活值相对于输入的梯度。见之前的博文典型常见的知识蒸馏方法总结一。
AAAI2025 | 论文接受列表，含全部论文下载（持续更新......）
yinizhilianlove的博客
03-06 1万+
AAAI主办的“AAAI人工智能会议”，被认为是人工智能领域的顶级会议之一，该会议每年举办一次，「会议等级A类」。
Knowledge Distillation
zhangjf26的博客
08-07 5210
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 1万+
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
Knowledge Distillation(11)——teacher assistant
judgechen1997的博客
09-25 1302
motivation: 希望a teacher can effectively transfer its knowl- edge to students up to a certain size， 但有时gap太大，效果反而差， 正如mutual learning发现跟teacher学还不如和一个与自己目前水平相当（虽然网络结构差很多）的student学 所以助教的概念都出来了： teache...
一分钟带你认识深度学习中的知识蒸馏
华为云官方博客
09-23 9008
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1 概念介绍 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型我们称之为teacher（教师模型），小模型我们称之为Student（学生模型）
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 158
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 374
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 285
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 51
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1534
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 462
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
Knowledge distillation + few-shot learning项目实例
09-06
提供的参考引用中未提及知识蒸馏与小样本学习结合的项目实例相关内容，不过可以从理论角度了解两者结合的可能应用场景及实例思路。 在医学影像诊断领域，医学影像数据标注成本高、数据量有限，属于典型的小样本场景。通过知识蒸馏与小样本学习结合，可以先训练一个大型的教师模型，使用大量模拟生成的医学影像数据或者公共的医学影像数据集进行预训练，让教师模型学习到丰富的医学影像特征和诊断知识。然后将教师模型的知识蒸馏到一个小样本训练的学生模型上，该学生模型可以在少量标注的特定医院或特定疾病的医学影像数据上进行训练。例如，针对罕见病的医学影像诊断，由于病例稀少，数据量小，利用这种结合方法可以提高诊断的准确性和效率。 在工业缺陷检测中，新的产品型号或者新的缺陷类型出现时，往往只有少量的缺陷样本。可以利用知识蒸馏与小样本学习结合的方法。先构建一个基于大量常见产品缺陷样本训练的教师模型，该模型可以学习到各种缺陷的特征模式。之后将教师模型的知识转移到一个在少量新缺陷样本上训练的学生模型中，使得学生模型能够快速准确地检测新出现的缺陷类型。 ```python # 以下是一个简单的伪代码示例，展示知识蒸馏与小样本学习结合的基本流程 import torch import torch.nn as nn import torch.optim as optim # 定义教师模型 class TeacherModel(nn.Module): def __init__(self): super(TeacherModel, self).__init__() # 定义教师模型的层结构 self.fc1 = nn.Linear(10, 20) self.fc2 = nn.Linear(20, 2) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 定义学生模型 class StudentModel(nn.Module): def __init__(self): super(StudentModel, self).__init__() # 定义学生模型的层结构 self.fc1 = nn.Linear(10, 15) self.fc2 = nn.Linear(15, 2) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 初始化教师模型和学生模型 teacher_model = TeacherModel() student_model = StudentModel() # 假设这里是小样本数据 small_sample_data = torch.randn(5, 10) small_sample_labels = torch.randint(0, 2, (5,)) # 定义损失函数 criterion = nn.CrossEntropyLoss() distillation_loss = nn.KLDivLoss() # 定义优化器 optimizer = optim.Adam(student_model.parameters(), lr=0.001) # 知识蒸馏训练过程 for epoch in range(100): # 教师模型预测 teacher_output = teacher_model(small_sample_data) # 学生模型预测 student_output = student_model(small_sample_data) # 计算知识蒸馏损失 distill_loss = distillation_loss(torch.log_softmax(student_output, dim=1), torch.softmax(teacher_output, dim=1)) # 计算分类损失 class_loss = criterion(student_output, small_sample_labels) # 总损失 total_loss = class_loss + distill_loss # 反向传播和优化 optimizer.zero_grad() total_loss.backward() optimizer.step() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值