（等待填坑）深度学习——蒸馏loss、蒸馏学习

最新推荐文章于 2025-07-23 15:57:06 发布
最新推荐文章于 2025-07-23 15:57:06 发布
阅读量5.7k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/s000da/article/details/89477392
博客主要提出了相关问题，并给出参考博客，涉及知识蒸馏和蒸馏相关内容，聚焦信息技术领域的知识蒸馏技术探讨。
KL散度
yang_daxia的博客
11-03 1493
基础 蒸馏中的lodigts常用loss KL散度也叫相对熵。可以理解为，q分布相对p分布的差异。 可以理解为相对距离。 参考：https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%AF%B9%E7%86%B5 和交叉熵的关系 如何通俗的解释交叉熵与相对熵？ - Peiwen的回答 - 知乎 https://www.zhihu.com/question/41252833/answer/195901726 torch实现 https://pytorch.
深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
haopinglianlian的博客
11-30 3791
本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。
知识蒸馏KL-loss解读
weixin_38252409的博客
12-01 3607
本文简单介绍知识蒸馏教师模型与学生模型使用KL loss方法。
模型蒸馏（Model Distillation）
最新发布
mayaohao的博客
07-23 633
模型蒸馏的本质是 “知识迁移”—— 将大模型的 “经验” 浓缩并传递给小模型，是平衡深度学习模型 “性能” 与 “效率” 的核心技术之一。在大模型（如 GPT、LLaMA）日益庞大的今天，蒸馏技术对推动 AI 模型的工业化落地具有不可替代的作用。
知识蒸馏初学例子（只有hard_loss和soft_loss）
qq_41978377的博客
05-11 1432
一个简单的知识蒸馏例子用于学习
深度学习15 基于keras的知识蒸馏2（实现kl loss和温度T）
a486259的博客
09-12 1997
本文讲述的知识蒸馏基于迁移学习所展开，所以对迁移学习（教师网络）中的一些细节有所要求，具体请见深度学习3 使用keras进行迁移学习，主要是指对教师网络的最后一个dense层不能使用激活函数，应添加一个激活层进行激活输出，这样子方便移除激活函数，自行对数据进行升温，然后再激活。 1、导入基本库、创建学生模型 重点说明：（不关注训练速度可不必理会） 通过该代码可以设置使用16位的浮点数进行训练，可以提升batch size，提升运输速度 from tensorflow.keras.mixed_prec
Python-使用Tensorflow实现的知识蒸馏方法
08-11
使用Tensorflow实现的知识蒸馏方法
蒸馏学习损失函数（KL）的代码
A2321161581的博客
10-03 755
神经网络的损失度量
【人工智能】用Python迈向轻量化深度学习——模型压缩与量化实战指南
一个被知识诅咒的人
02-20 754
随着移动端与嵌入式设备对深度学习推理需求的不断提升，模型的体积和推理效率成为关注重点。本文系统介绍了模型压缩与量化技术，详细阐述了剪枝、蒸馏等压缩方法，并重点探讨了如何在Python环境中使用TensorFlow Lite与PyTorch提供的量化工具来实现模型的轻量化。通过逐步的示例与大量注释，读者不仅能深入理解模型压缩与量化的原理，也能在实战中快速上手，最终实现将深度学习模型高效部署到移动设备与嵌入式平台的目标。
模型蒸馏：深度学习界的 “师徒传承”
进一步有进一步的欢喜~
01-16 1750
随着深度学习的发展，模型的规模和复杂性不断增加，这虽然带来了出色的性能，但也带来了高计算资源需求的问题，使得在一些资源受限的设备（如移动设备、边缘计算设备）上的部署变得困难。模型蒸馏技术应运而生，为解决这一问题提供了有效方案。
keras框架——知识蒸馏之深度学习VGG19神经网络图像分类系统源码
01-07 352
首先，T值很大，相当于用很高的温度将关键的分布信息从原有的数据中分离，之后在同样的温度下用新模型融合蒸馏出来的数据分布，最后恢复温度，让两者充分融合。这也可以看成Prof. Hinton将这一个迁移学习过程命名为蒸馏的原因。蒸馏神经网络想做的事情，本质上更接近于迁移学习（Transfer Learning），当然也可从模型压缩（Model Compression）的角度取理解蒸馏神经网络。🔥计算机视觉、图像处理、毕业辅导、作业帮助、代码获取，远程协助，代码定制，私聊会回复!，其实是一个非常形象的过程。
Pytorch实现的各种知识蒸馏方法-python
06-18
Pytorch实现的各种知识蒸馏方法 Knowledge-Distillation-Zoo Pytorch 实现各种知识蒸馏 (KD) 方法。 本知识库是一个简单的参考资料，主要侧重于基础知识蒸馏/转移方法。 因此没有考虑许多技巧和变化，例如逐步训练、迭代训练、教师集成、KD 方法集成、无数据、自蒸馏、量化等。 希望它对您的项目或研究有用。 我将使用新的 KD 方法定期更新此 repo。 如果我遗漏了一些基本方法，请与我联系。 Lists Name Method Paper Link Code Link Baseline basic model with softmax loss — code Logits通过回归logits模拟学习论文代码ST软目标论文代码AT注意力转移论文代码Fitnet提示薄深度网络论文代码NST神经选择性转移论文代码PKT概率知识转移论文代码 FSP 求解流程过程论文代码 FT 因子转移论文代码 RKD 关系知识蒸馏论文代码 AB 激活边界论文代码 SP 相似性保存论文代码 Sobolev sobolev/jacobian 匹配论文代码 BSS 边
TextBrewer：基于PyTorch的知识蒸馏工具包，用于自然语言处理
02-03
| TextBrewer是用于自然语言处理的基于PyTorch的模型提炼工具包。 它包括来自NLP和CV领域的各种蒸馏技术，并提供了易于使用的蒸馏框架，使用户可以快速试验最新的蒸馏方法，以压缩模型的代价相对较小。性能，提高推理速度并减少内存使用量。 通过或检查我们的论文。 新闻 2020年11月11日 更新到0.2.1 ： 更加灵活的蒸馏：支持将不同批次的物料喂给学生和老师。 这意味着学生和老师的批次不再需要相同。 它可以用于提取具有不同词汇表的模型（例如，从RoBERTa到BERT）。 更快的蒸馏：用户现在可以预先计算并缓存教师的输出，然后将缓存提供给蒸馏器以节省教师的前行时间。 有关上述功能的详细信息，请参见。 MultiTaskDistiller现在支持中间功能匹配丢失。 Tensorboard现在记录了更详细的损失（KD损失，硬标签损失，匹配损失...）。 请参阅详细信息。 2020年8月27日 我们很高兴地宣布，我们的模型位于GLUE基准之上，请检查。 点击这里查看旧新闻2020年8月24日 更新到0.2.0.1 ： 修复了MultiTaskDistill
8. 深度学习——NLP
qq_32468785的博客
11-13 525
NLP（Natural Language Processing，自然语言处理）是一门研究如何使计算机能够理解、处理和生成人类自然语言的学科。它涉及到文本分析、语义理解、机器翻译、情感分析、问答系统等多个任务。为了解决这些任务，NLP 使用了多种技术和方法，包括词嵌入（word embeddings）、循环神经网络（RNN）、卷积神经网络（CNN）、注意力机制（attention）、序列到序列模型（sequence-to-sequence）、预训练模型（如 BERT、GPT 等）等。
图解知识蒸馏
llf000000的博客
02-29 494
soft labels与soft predictions越接近越好，通过Loss Fn来实现，产生的数值叫做distillation loss，也叫soft loss。hard label y与hard prediction越接近越好，通过Loss Fn来实现，产生的数值叫做student loss，也叫hard loss。目的是微调学生网络中的权重，使得最终损失函数最小化。
知识蒸馏基本原理
null的专栏
09-12 3601
知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。
一文全览 | 知识蒸馏算法汇总
小白学视觉
03-06 1694
作者|AI浩 编辑| 小书童原文链接：https://zhuanlan.zhihu.com/p/583273832点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达知识蒸馏有两大类：一类是「logits蒸馏」，另一类是「特征蒸馏」。「logits蒸馏」指的是在softmax时使用较高的温度系数，提升负标签的信息，然后使用Student和Teacher在高温softmax...
模型蒸馏时loss不收敛 huggingface
qq_43058281的博客
03-11 596
【代码】模型蒸馏时loss不收敛 huggingface。
用python实现深度学习模型知识蒸馏
12-27
### 使用 Python 实现深度学习模型中的知识蒸馏 #### 背景介绍 知识蒸馏是一种用于提高小型学生模型性能的技术，通过让其模仿大型教师模型的行为。这种方法不仅能够减少计算资源消耗还能保持较高的准确性。 #### ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值