MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION

已于 2022-04-27 20:14:46 修改
阅读量944 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 模型量化论文 文章标签： 量化论文
于 2022-04-27 16:59:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_49234921/article/details/124455083
本文提出结合蒸馏和量化的方法来压缩深度神经网络，量化蒸馏在训练过程中利用教师网络的蒸馏损失，而可微量化通过优化量化点的位置以适应教师模型。实验证明，量化后的浅层学生模型在保持高精度的同时，实现了对全精度模型的显著压缩和推理速度的提升。

MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION

Abstract

在这里插入图片描述

深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。该领域备受关注的一个方面是在资源受限的环境（如移动或嵌入式设备）中高效地执行深度模型。本文针对这个问题，提出了两种新的压缩方法=，这两种方法联合利用权重量化和将称为“教师”的较大网络提取为压缩的“学生”网络。
1、我们提出的第一种方法被称为量化蒸馏，通过将蒸馏损失（表示为教师网络）纳入较小学生网络的训练中，在训练过程中利用蒸馏，该学生网络的权重被量化到一组有限的水平。
2、第二种方法是可微量化，通过随机梯度下降优化量化点的位置，以更好地适应教师模型的行为。我们通过卷积结构和递归结构的实验验证了这两种方法。我们表明，量化的浅层学生可以达到与最先进的全精度教师模型相似的精度水平，同时提供高达数量级的压缩，以及在深度缩减中几乎呈线性的推理加速。总之，我们的研究结果使资源受限环境中的DNN能够利用在更强大的设备上开发的体系结构和准确性进步。

1 INTRODUCTION

1.1 Background.

          

了解本专栏 订阅专栏 解锁全文 超级会员免费看
模型压缩(model compression)
m0_47405013的博客
01-25 1341
模型压缩
（笔记）脉冲深度残差网络Spiking Deep Residual Network
yingpeng_zhong的博客
05-13 1971
原文链接 摘要 方法一 方法二 实验 原文链接 https://arxiv.org/abs/1805.01352 摘要 本文提供一种有效的把ResNet转成脉冲神经网络(SNN)的方法。主要提出两个方法。 一，针对残差结构的归一化，把连续激活函数值转成发射频率（firerate）。 二，分层的误差补偿。 方法一 针对残差结构的归一化，把连续激活函数值转成发射频率（f...
MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION 论文笔记
weixin_30271335的博客
01-22 587
摘要 　　深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。受到相当大关注的领域的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文重点讨论了这个问题，并提出了两种新的压缩方法，它们共同利用大型网络称为“教师”的权重量化和蒸馏，进入压缩的“学生”网络。我们提出的第一种方法称为量化蒸馏，并在训练过程中利用蒸馏，将蒸馏损失（相对于教师网络表...
大模型轻量化技术调研
qq_43632398的博客
04-07 2388
量化蒸馏该部分在深度方面进行复合压缩，提炼出一个较浅的student-model，使其精度和较深的teacher-model相似利用蒸馏损失来训练一个量化的学生网络。它的目标是利用蒸馏损失在训练过程中，通过将蒸馏损失（相对于教师网络）结合到一个较小的学生网络的训练中，来压缩学生网络的权重。这种方法使用投影梯度下降，在全精度训练中进行梯度下降步骤，然后将新参数投影到有效解集合中。在每次投影步骤中，累积误差累积到下一步的梯度中。可微量化。
quantization 顶会文章简介 2018
JachinMa的博客
09-14 1034
1、Model compression via distillation and quantization 深度神经网络持续地在图像分类到翻译或强化学习的任务上取得重大进展。其中一个受到大量关注的领域是在资源限制的环境下，如移动设备或嵌入式设备，来高效地执行深度模型。本文着眼于该问题，并提出了两个压缩算法，它同时利用权重量化和从更大的教师网络到更小的学生网络的蒸馏。作者提出的第一个方法被称为量化...
（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION
yingpeng_zhong的博客
05-06 4062
（笔记）Model Compression via Distillation and Quantization （笔记）Model Compression via Distillation and Quantization 原文链接：https://arxiv.org/abs/1802.05668 代码： https://github.com/antspy/quantized_distill...
模型压缩剪枝蒸馏量化
Mr_Troy的博客
02-21 3333
开源项目与资源 PaddleSlim是百度提出的模型优化工具，包含在PaddlePaddle框架中，支持若干知识蒸馏算法，可以在teacher网络和student网络任意层添加组合loss，包括FSP loss，L2 loss，softmax with cross-entropy loss等。 PaddleSlim Github PaddleSlim Docs Distiller是Intel基于Pytorch开源的模型优化工具，支持Hinton等人提出的Knowledge distillation算
【论文阅读】2_A Survey on Model Compression and Acceleration for Pretrained Language Models
zoetu
04-27 660
模型压缩与加速综述2，关于method和future部分。
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5366
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
【模型压缩+推理加速】知识蒸馏综述解读（Knowledge Distillation）
songxia928_928的博客
03-25 1861
最近Deepseek R1的技术报告中，训练部分提到使用了知识蒸馏，就像系统性的看看蒸馏算法的原理。看了很多的博客，很多都没有详细把知识蒸馏系统的讲清楚。我们还是读一下这篇 2021年的综述 “Knowledge Distillation: A Survey”。虽然这篇文章不是针对大模型的知识蒸馏综述，但可以作为大模型蒸馏学习的入门。这篇综述写的非常详细，系统性总结了知识蒸馏的很多基础知识，比如：知识的类型、蒸馏方案、师生结构、蒸馏算法。以及还有详细的对比效果，充分说明各种蒸馏算法的优劣。
【distill.&transfer】Deep Face Recognition Model Compression via Knowledge Transfer and Distillation
猫猫与橙子的博客
06-12 744
论文链接：https://arxiv.org/abs/1906.00619 作者的动机： 本篇文章提出了一种对人脸识别模型压缩的方法：基于student-teacher paradigm 的脸部识别运用；模型加速是通过降低输入图像的精度，使用相同的网络结构，从而使模型参数不减少，由于图像尺寸减少，数据储存空间也随之减少，整体架构图： 作者提出的方法： 作者使用了三种方法来提升输入低精度...
深度学习网络压缩模型方法总结(model compression)
weixin_30617737的博客
09-08 272
两派 1. 新的卷机计算方法 这种是直接提出新的卷机计算方式，从而减少参数，达到压缩模型的效果，例如SqueezedNet,mobileNet SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size 修改网络结构，类似于mobileNet MobileNets: Effic...
【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》
u012101561的博客
05-03 6260
  论文：A Survey of Model Compression and Acceleration for Deep Neural Networks               深度神经网络模型压缩与加速综述       摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现。然而，目前的深度卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难...
（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig
yingpeng_zhong的博客
10-08 1932
目录 目录 原文 摘要 原文原文：https://arxiv.org/abs/1702.03044 代码：https://github.com/Zhouaojun/Incremental-Network-Quantization摘要Incremental Network Quantization(INQ)是一种神经网络压缩方法。它以已训练的任意全精度网络作为输入，输出权值为0或2的整数次幂的网络
神经网络模型压缩与加速
AlgoComp
03-08 5304
介绍神经网络（主要是CNN）模型压缩与加速的常见方法 目标：模型运行速度尽可能快，大小尽可能小，准确率尽可能保持不变 模型压缩 改变网络结构 使用特定结构 如 ShuffleNet, MobileNet, Xception, SqueezeNet MobileNet 把普通卷积操作分成两部分 Depthwise Convolution 计算量 DK⋅DK⋅M⋅D...
（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization
yingpeng_zhong的博客
06-02 2347
原文链接 摘要 方法 实验效果 原文链接 https://arxiv.org/abs/1705.01462 摘要 提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。 方法 目的：不训练地，把32bit浮点权重W...
阅读笔记：深度神经网络模型压缩与加速
hukai7190的博客
11-05 5197
目前的深层卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难以应用的问题。因此，一种很自然的解决方案就是在保证分类准确率不显著下降的前提下对深层卷积神经网络进行压缩和加速。
网络加速和压缩技术论文整理
mingo_敏
05-07 3602
从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。 低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Networ...
深度学习模型压缩与优化加速（Model Compression and Acceleration Overview）
热门推荐
AI Flash
07-17 4万+
1. 简介 深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。 模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）： 线性或非线性量化：1/2bits, int8 和 fp16等； 结构或...
Model Compression Toolkit使用示例
最新发布
08-20
Model Compression Toolkit（MCT）是一个用于模型压缩的开源工具包，支持量化、剪枝、知识蒸馏等技术，适用于PyTorch和TensorFlow框架。以下是一个基于PyTorch的MCT使用示例，展示如何对模型进行**量化感知训练（QAT...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

土豆娃potato

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值