新一代蒸馏算法

交通上的硅基思维

已于 2025-10-09 08:32:59 修改

阅读量464

点赞数

CC 4.0 BY-SA版权

分类专栏：算法文章标签：算法深度学习人工智能

于 2022-11-02 18:52:05 首次发布

本文链接：https://blog.youkuaiyun.com/matlab_python22/article/details/127656825

算法专栏收录该内容

82 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

该博客介绍了在深度学习中使用蒸馏算法的过程，通过示例展示了如何生成目标掩码，并提供了相关代码实现。主要涉及到张量操作，如scatter_函数的应用。

一、前置演示：scatter_ 如何“一键”生成 one-hot 与掩码

二、DKD 核心思想（Decoupled Knowledge Distillation）

三、代码 walk-through（按执行顺序）

四、DKD 在 2025 年的典型应用场景

一句话总结

一、前置演示：scatter_ 如何“一键”生成 one-hot 与掩码

Python

复制

label = torch.LongTensor(batch_size, 1).random_() % class_num
xx = torch.zeros(batch_size, class_num).scatter_(1, label, 1)

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

交通上的硅基思维

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

新一代Kaldi技术总结

u013250861的博客

05-29

267

根据lattice中不同通路的产生的时延，对RNN-T的log-probability lattice进行简单的修正，让模型更倾向于学习时延更短的通路。在该项工作中我们在 GPU 上实现了高效的 FSA 解码，为此我们对 RNN-T 做了一些改造，首先我们在 RNN-T 中使用了无状态的 decoder 网络，使用有限的left context；知识蒸馏是常见的提升模型表现的办法。该办法能够在几乎不影响知识蒸馏的效果的前提下，实现对教师标签上百倍的压缩，有效的解决了传统知识蒸馏办法在大数据集下面临的困境。

蒸馏模型：蒸馏研究代码-matlab开发

05-30

这是我想出的一个简单的代码来分析蒸馏。它为您提供托盘的理论数量、E_overall、R_min 和使用 McCabe-Thiele 方法的最佳进料托盘位置。希望它对你们有用。干杯

参与评论您还未登录，请先登录后发表或查看评论

知识蒸馏代码实现(内容：知识蒸馏模型识别MNIST手写数字体,自定义MLP网络做为教师和学生网络,训练结果保存在log文件中,不同蒸馏损失计算方法得到的结果对比)

分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。

11-30

5061

里面有12种最新的知识蒸馏算法。

深度学习：蒸馏Distill

皮皮blog

05-25

6024

Distilling the knowledge in a neural network Hinton 在论文中提出方法很简单，就是让学生模型的预测分布，来拟合老师模型（可以是集成模型）的预测分布，其中可通过用 logits 除以 temperature 来调节分布平滑程度，还避免一些极端情况影响。蒸馏时的softmax 比之前的softmax多了一个参数T（temperature），T越大产生的概率分布越平滑。 [Distilling the knowledge in a neural

matlab精度检验代码-distillation:在EMNIST数据集上进行知识蒸馏的Keras+张量流实验

05-21

matlab精度检验代码知识蒸馏实验如何运行代码依赖项：Keras，Tensorflow，Numpy 培训老师模型： python train.py --file data/matlab/emnist-letters.mat --model cnn 正常训练感知器 python train.py --file data/matlab/emnist-letters.mat --model mlp 用知识升华训练学生网络： python train.py --file data/matlab/emnist-letters.mat --model student --teacher bin/cnn_64_128_1024_30model.h5 结果数据集用于实验（26类手写英文字母）作为教师网络，一个简单的cnn具有3378970参数（2个conv层，分别具有64和128个过滤器，在完全连接的层上具有1024个神经元）经过了26个时期的训练，并在高原早期停止。验证准确性为94.4％作为学生网络，使用了具有512个隐藏单元和415258总参数的1层感知器（比教师网络小8倍）。首先

知识蒸馏之自蒸馏【附代码】

z240626191s的博客

04-23

6335

本篇文章为在线蒸馏，将以Resnet为例进行代码详解，主要涉及到逻辑蒸馏和特征蒸馏。内容比较多，系好安全带，发车~ 在学习本篇文章时需要各位对Resnet代码有很深的了解，这样才好学习本篇文章

模型压缩与性能提升：新一代识别算法优化技术

[模型压缩与性能提升：新一代识别算法优化技术](https://dvl.in.tum.de/img/lectures/automl.png) # 1. 模型压缩与性能提升概述在当今的深度学习领域，模型压缩和性能提升是两个密切相关且日益受到关注的主题。...

新一代目标检测算法YOLOv5：高效精简的深度学习模型

在深度学习和计算机视觉领域，算法的演化通常涉及到不断优化网络结构、增加模型泛化能力、提高对新数据集的适应性以及减少计算资源消耗等。因此，"yolov5evolve"可能代表了对原始yolov5算法的最新进展和实践应用的...

【YOLOv8彻底革新】：揭秘新一代实时目标检测算法

[【YOLOv8彻底革新】：揭秘新一代实时目标检测算法](https://opengraph.githubassets.com/d7585336bbf81e413e774bf69ca66809d8d6486444918682e2a4ae25f601aa63/ycchen218/YOLOv8-Inference-Project) # 1. YOLOv8算法...

图片镜像matlab代码-MLIC-KD-WSD:通过弱监督检测中的知识蒸馏进行多标签图像分类（ACMMM2018）

05-24

图片概述matlab代码通过弱监督检测中的知识蒸馏进行多标签图像分类该存储库包含该论文的代码（在中）：弱监督检测中基于知识蒸馏的多标签图像分类[] [] ，，，，和项目页：弱监督检测（WSD）我们使用WSDDN 1作为检测模型，即教师模型。由于WSDDN是使用Matlab（基于）实现的，因此我们首先使用Caffe复制本文。 [1]。 Hakan Bilen，Andrea Vedaldi，“弱监督的深度检测网络”。在：IEEE Computer Vision and Pattern Recognition，2016。繁殖结果检测纸 training: 5 scales + mirror testing: fusion of 5 scales + mirror 我们的 training: 5 scales + mirror testing: single-forward test 分类数据清单准备 image_path one_hot_label_vector(e.g., 0 1 1 ...) proposal_info(e.g., x_min y_min x

经典卷积模型回顾26—基于知识蒸馏与ResNet152实现轻量模型的食物图像分类（matlab）

爱分享数据的一个人的博客

03-17

1644

是指从一个复杂的神经网络中抽取出一个简化版的网络，使其在保持相对较高的性能的同时，具有更小的模型大小和更低的计算成本。通常情况下，知识蒸馏的目标是将“学生网络”（简化版的网络）的输出与“教师网络”（复杂的网络）的输出相匹配。与其他 ResNet 模型类似，ResNet-152 也采用了残差学习（Residual Learning）的方法，即在前一层的输出与后一层的输入之间添加一个跨层连接，将前一层的信息直接传递给后一层，从而避免了信息在传递过程中的丢失。此外，我们还需要定义一个较小的网络，用于知识蒸馏。

经典卷积模型回顾25—利用蒸馏对DenseNet201进行处理，并实现图像分类（matlab）

爱分享数据的一个人的博客

03-16

866

使用densenet201模型来定义网络。%我们还可以使用其他机器学习算法（如svm、knn等）也可以对此结果进行训练。%使用densenet201模型的蒸馏版本进行图像分类，并输出预测标签。imgDir = 'F:\测试图片路径'%存放测试图片的路径。%设置mini batch大小。testImgDir = 'F:\测试图片文件夹路径';%从 testImgDir路径读取所有待测试照片。%使用模型蒸馏将原始模型中掩码量进行处理。%测试：存放待测试图片的文件夹路径。disp('模型预测结果：');

使用Simulink与MATLAB结合实现一个简单的知识蒸馏

最新发布

xiaoheshang_123的博客

04-08

知识蒸馏旨在通过让一个小模型学习大模型的输出，来达到降低计算成本的目的，同时尽可能保留大模型的表现性能。这种方法特别适用于移动设备或嵌入式系统，其中计算资源有限。使用MATLAB中的Deep Learning Toolbox定义两个深度学习模型：一个复杂的大模型作为教师模型，以及一个较简单的小模型作为学生模型。教师模型matlab深色版本reluLayer学生模型matlab深色版本reluLayer。

知识蒸馏实战代码教学二（代码实战部分）

study_jiang_up的博客

02-20

2592

总的来说，知识蒸馏是一种有效的模型压缩技术，可以通过在模型训练过程中引入额外的监督信号来训练简化的模型，从而获得与大型复杂模型相近的性能，但具有更小的模型尺寸和计算开销。

Decoupled Knowledge Distillation论文阅读+代码解析

qq_45478482的博客

10-28

2362

知识蒸馏（KD）的通过最小化师生预测对数之间的KL-Divergence来传递知识(下图a)。目前大部分的研究注意力都被吸引到从中间层的深层特征中提取知识。与基于logit的精馏方法相比，特征精馏在各种任务中都具有优越的性能，因此对logit精馏的研究很少。然而，基于特征的方法的训练成本并不令人满意，因为在训练期间，为了提取深度特征，引入了额外的计算和存储使用(例如，网络模块和复杂的操作)。Logit蒸馏需要边际计算和存储成本，但性能较差。

拆解DKD loss （建议读完论文哈）

qq_68308828的博客

03-11

989

分析Loss代码

Decoupled Knowledge Distillation——目标分布与非目标分布相解耦

AI Flash

08-19

1913

传统KD loss中Teacher的目标概率越高，NCKD越被抑制；然而，单独使用TCKD鲜有收益，而在某些场景下单独使用NCKD、可获得比TCKD更好的效果（详见论文的Ablation分析）；并且，TCKD主要迁移难例相关的知识，NCKD则能够真正反映暗知识（Dark knowledge）。通过将网络Classification Head预测的概率分布、解耦为目标分布与非目标分布，并分别计算二者的蒸馏Loss（Teacher的预测输出亦作相同解耦），然后进行加权求和获得新的蒸馏Loss。

知识蒸馏（Knowledge Distillation）

qq_40723205的博客

09-01

1207

通过结构复杂、计算量大但是性能优秀的教师神经网络，对结构相对简单、计算量较小的学生神经网络进行指导，以提升学生神经网络的性能。论文中提出了“暗知识”这一概念，即：比如我们在识别一张猫猫的图片的时候，一个性能良好的神经网络经过softmax变换后的输出，在一般该向量中代表猫猫的位置会得到一个非常高的值，比如，0.9，而代表其它分类的值在传统的研究中就不那么受重视了。Hinton大神认为，其它位置得到...