知识蒸馏（深度学习模型压缩）

最新推荐文章于 2025-12-10 16:17:09 发布
原创 最新推荐文章于 2025-12-10 16:17:09 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #计算机视觉

本文介绍了五种模型压缩技术：模型剪枝通过移除冗余组件来减小模型大小；量化降低了权重精度；知识蒸馏将大型模型的知识迁移到小型模型；参数共享实现了跨层参数的复用；参数矩阵近似通过低秩分解等方式减少参数。

模型压缩大体上可以分为 5 种：

  • 模型剪枝：即移除对结果作用较小的组件，如减少 head 的数量和去除作用较少的层，共享参数等，ALBERT属于这种；
  • 量化：比如将float32 降到 float8；
  • 知识蒸馏：将 teacher 的能力蒸馏到 student上，一般 student 会比teacher 小。我们可以把一个大而深的网络蒸馏到一个小的网络，也可以把集成的网络蒸馏到一个小的网络上。
  • 参数共享：通过共享参数，达到减少网络参数的目的，如 ALBERT 共享了 Transformer 层；
  • 参数矩阵近似：通过矩阵的低秩分解或其他方法达到降低矩阵参数的目的；

在这里插入图片描述

使用Python实现深度学习模型：知识蒸馏与模型压缩
Echo_Wish
07-04 617
知识蒸馏是一种通过将复杂模型（教师模型）的知识传递给简单模型（学生模型）的方法。教师模型通常是一个大型的预训练模型，而学生模型则是一个较小的模型。通过让学生模型学习教师模型的输出，可以在保持性能的同时减小模型的大小。模型压缩包括多种技术，如剪枝（Pruning）、量化（Quantization）和低秩分解（Low-Rank Decomposition）。这些技术通过减少模型参数的数量或降低参数的精度来减小模型的大小和计算复杂度。
深度学习技巧应用1-利用知识蒸馏技术做模型压缩
微学AI的博客
12-28 1387
知识蒸馏是一种机器学习中的模型压缩方法，它可以通过训练一个较小的模型（称为学生模型）来模仿一个已经训练的较大的模型（称为教师模型）的行为。这样，我们就可以在保留较高的准确率的同时减小模型的大小。
李宏毅《机器学习》模型压缩-知识蒸馏
qq_42178122的博客
05-29 1321
概述 需要做模型压缩的原因在于我们有将模型部署在资源受限的设备上的需求，比如很多移动设备，在这些设备上有受限的存储空间和受限的计算能力。本文主要介绍五种模型压缩的方法： ①网络剪枝（Network Pruning） ②知识蒸馏（Knowledge Distillation） ③参数量化（Parameter Quantization） ④结构设计（Architecture Design） ⑤动态计算（Dynamic Computation） 知识蒸馏 1.知识蒸馏是什么？ 知识蒸馏指的是模型压缩的思想，通过一
模型压缩之知识蒸馏
程序员深度学习
08-21 2551
模型压缩（在保证性能的前提下减少模型的参数量）成为了一个重要的问题，而”模型蒸馏“属于模型压缩的一种方法。
【模型压缩】（四）——知识蒸馏
weixin_40620310的博客
04-07 3012
一、概述 一句话概括：将一个复杂模型的预测能力转移到一个较小的网络上； （复杂模型称为教师模型，较小模型称为学生模型） Teacher and Student的概念： 对大网络学习的知识进行"蒸馏"，并将其转移到小网络上，同时小网络的性能能够接近大网络； 蒸馏模型（Student）被训练模仿大网络（Teacher）的输出，而不仅仅是直接在原始数据上训练，通过这种方式让小网络学习到大网络的抽象特征能力和泛化能力； 二、流程详解 方法一 简单流程如下： 1、数据集上训练一个teacher网络； 2、训练
知识蒸馏介绍及比较
热门推荐
weiyaner的博客
03-23 1万+
文章目录1 知识蒸馏(knowledge)背景2 知识蒸馏原理2.1 概念2.2 如何蒸馏3 常见的几种BERT蒸馏模型3.1 BERT蒸馏3.2 Distiled BiLSTM3.2 BERT-PKD（2019）——精调阶段的蒸馏3.3 DistilBERT(hugging face2019)——预训练阶段蒸馏3.4 TinyBERT（HW，2019）——两阶段蒸馏1 通用蒸馏2 针对特定任务的蒸馏3.5 MobileBERT（ACL2020） 1 知识蒸馏(knowledge)背景 在训练模型时，我们通
【模型压缩】模型剪枝，知识蒸馏，ShuffleNet知识与实战小结
HollrayChan的博客
03-05 2813
【模型压缩】模型剪枝，知识蒸馏，ShuffleNet知识与实战小结 什么是知识蒸馏： 根据Hinton15年的文章，Distilling the knowledge in aneural network来看，模型蒸馏的设计思路，和物理变化上的蒸馏确实是很像的，而论文中涉及到的一些关键词，也是用相应的物理词汇进行描述。最具有代表性的就是关于温度变化的超参数T，通过T来改变建立的soft target...
人工智能基于知识蒸馏的模型压缩技术：实现小模型高效学习大模型知识的优化方法研究
10-15
适合人群：具备一定机器学习基础，对模型压缩、深度学习优化感兴趣的算法工程师、研究人员及高校学生。; 使用场景及目标：①理解知识蒸馏的核心机制及其在模型轻量化中的作用；②掌握如何在实际项目中应用知识蒸馏...
从剪枝到知识蒸馏：深度学习模型压缩与加速的多重策略
一键难忘的博客
02-01 2702
模型压缩与加速技术是深度神经网络应用中不可或缺的一部分，尤其是在资源受限的环境中。通过合理运用剪枝、量化、知识蒸馏等技术，并结合硬件加速与计算图优化，可以显著提升模型的性能和效率。随着技术的不断进步，未来的深度学习应用将在嵌入式设备、移动端、实时计算等领域发挥更大的潜力。模型压缩与加速技术为深度神经网络在资源受限环境中的部署提供了有效的解决方案。剪枝、量化、知识蒸馏等技术能够有效减小模型的计算量和存储需求，在保证精度的同时提升推理速度。然而，这些技术仍然面临一些挑战，如精度损失、复杂度增加等。
深度学习模型压缩与加速综述.pdf
08-18
深度学习模型压缩与加速是一门专门针对在有限计算资源下，如何减小深度学习模型的体积和提高其运行速度的技术领域。在移动嵌入式设备、移动设备等计算能力受限的平台上部署深度学习模型时，模型压缩与加速显得尤为...
知识蒸馏
hey-yahei
05-06 4776
原文链接：https://www.yuque.com/yahei/hey-yahei/knowledge_distillation 知识蒸馏（Knowledge Distillation, KD），按照字面意思，就是将某个经过训练网络的知识，蒸馏到另一个网络上去。换句话说，存在一个已经训练好的，具备知识的成熟教师网络（Teacher），用它来指导学生网络（Student）的学习过程。对学生网络而言...
知识蒸馏概述
关于我的学习记录
12-20 2551
知识蒸馏概述
知识蒸馏首篇论文解读
陶将的博客
11-04 8106
知识蒸馏是一种模型压缩的方式。对于训练好的大而笨重的模型，我们使用另一种训练方式，**“蒸馏”**，将从大而笨重中需要的知识转换到一个小但是更合适部署的模型。
思考：知识蒸馏的缺点
欧氏空间
08-26 3698
知识蒸馏不太适合用于（分布式学习中）对在不同分布上学习得到的模型的集成，原因是：Teacher必须得有一本book才能教给Student，并且传递的知识只限于book的内容，因此book本身必须能反映整体数据的分布才行，相当于只教了死记硬背没有教其中的逻辑推理关系。还有一个问题，如果book本身能够能够反映整体分布，我又何必去学不同分布上的数据呢。 ...
知识蒸馏与推荐系统
木东的博客
09-04 1159
「写在前面：」 这是一篇介绍 「【知识蒸馏】」 在 「【推荐系统】」领域应用的文章，算是知识蒸馏简述系列文章的延续，希望能对推荐领域的同学有所帮助。 以下是本文的主要框架： A brief review KD & 推荐 Conclusion 「1. A brief review」 「1-1 知识蒸馏回顾」 当我们训练一个深度学习模型时，常常面临模型效果与工程性能冲突的问题。 在监督学习中： 训练模型时，通常采用 「复杂模型」 或者 「Ensemble」 方
深度学习之知识蒸馏(Knowledge Distillation)
AndyJ的学习之旅
09-10 1万+
本文参考以下链接，如有侵权，联系删除 论文 参考 引言 知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。 Knowledge Distillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(”Knowledge”)，蒸馏(“Distill”)提取到另一个模型里面去。 温度: 我们都知道“蒸馏”需要在高温下进行，那么这个“蒸馏”的温度代表了什么，又是如何选取合适的温度？ 背景 虽然在一般情况下，我们不会去区分训练和部署使用的模型，但
【模型压缩】知识蒸馏-Distilling the Knowledge in a Neural Network
Shwan_ma的博客
03-15 2164
这篇文章是Hinton的大作，采用了一个很特别的方式（知识蒸馏，KT， Knowledge distillation）来进行模型压缩。言而总之，就是预先训练一个大模型去调教小模型，使得小模型更够在应用端更好的跑起来。 文章地址：Distilling the Knowledge in a Neural Network, Hinton et al, 2015 为什么要采用知识蒸馏呢 作者认为对于分类模...
深度学习1.4-pytorch安装
诚朴勇毅
12-05 144
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
【人机深度学习相关会议】2026年人机交互、神经网络与深度学习国际学术会议
最新发布
weixin_73242859的博客
12-10 277
2026年人机交互、神经网络与深度学习国际学术会议（HNNDL2026）将于1月9-11日在中国上海举办。会议聚焦人机交互、神经网络与深度学习领域的前沿研究，设有主题报告、口头报告、海报展示等环节。投稿论文需为英文原创，不少于8页，经审稿后由ACM出版并提交EI/Scopus检索。参会形式包括口头演讲、海报展示或听众参会。会议旨在促进学术交流与合作，推动智能科技发展。投稿审稿周期约1周，欢迎相关领域学者踊跃参与。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值