【神经网络压缩加速之量化一】And the Bit Goes Down: Revisiting the Quantization of Neural Networks

最新推荐文章于 2024-07-17 19:13:57 发布
最新推荐文章于 2024-07-17 19:13:57 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Compression & Acceleration 文章标签： Network Quantization
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37643960/article/details/100878410
本文介绍了一种用于压缩ResNet类卷积网络的矢量量化方法，该方法专注于维持网络输出的重建质量，而非权重，实现了高精度的同时大幅降低内存占用。以ResNet-50为例，压缩至5MB，仍保持76%的ImageNet分类精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要:

在本文中，我们解决了减少ResNet类卷积网络架构的内存占用问题。我们引入了一种矢量量化(Vector Quantization)方法，旨在保持网络输出的重建质量而不是其权重。 我们的方法的优点是它最小化了域内输入(in-domain inputs)的损失重建误差，并且不需要任何标记数据。 我们还使用字节对齐的码本(byte-aligned codebooks t)来生成压缩网络，并对CPU进行有效推断。我们通过将高性能的ResNet-50模型量化为5MB（20x压缩因子）的内存大小来验证我们的方法，同时在ImageNet对象分类和压缩Mask RCNN上保持精度为76％，大小约为6 MB。

Introduction

 

 

 

 

 

AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKS
青灵_Yaffa的博客
05-24 212
AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKSABSTRACT补充知识：码本是什么？1 INTRODUCTION2 RELATED WORKLow-precision training.Quantization.Pruning.Dedicated architectures.(专用架构)3 OUR APPROACH3.1 QUANTIZATION OF A FULLY-CONNECTED LAYER（全连接层的量化）
【YOLO11改进 - Backbone主干】RepViT（Revisiting Mobile CNN From ViT Perspective）：新型的轻量级卷积神经网络（CNN）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-24 368
【YOLO11改进 - Backbone主干】RepViT（Revisiting Mobile CNN From ViT Perspective）：新型的轻量级卷积神经网络（CNN）
On Calibration of Modern Neural Networks阅读笔记
weixin_60503596的博客
11-04 429
depthwidth, and文章中提到了两个例子来说明：神经网络分类器不仅仅需要精确，还需要指出何时他们不正确。一个例子是自动驾驶领域，使用神经网络去检测行人和障碍物。如果检测网络不能confidently预测是否存在直接障碍物，汽车在这个时候应当更多的依赖于其他传感器的输出进行制动。另一个例子是在自动医疗领域，在疾病诊断网络的置信度较低时，需要传递给医生进行诊断。这说明，一个神经网络应当在提供预测之外，再提供一个calibrated confidence measure。
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference笔记
weixin_44287798的博客
12-16 807
#1提出问题：如何将复杂的CNNs成功部署到移动端等内存较小的设备中？ 【本篇中，中文的中括号里代表的是注释】 解决方案主要分为两类：1.开发新的网络架构【exploit computation or memory efficient operations】【eg：MobileNet SqueezeNet ShuffleNet DenseNet】 2.量化CNN中的权重与激活函数，把原本fp32数据用更低位精度的数据表示。【eg：三元权值网络、二元神经网络】 文中说到，尽管这些网络挺好，但是在权衡延迟和准
【置信度校准】On Calibration of Modern Neural Networks论文阅读笔记
ROYOLE'S
10-04 3069
摘要 置信度校正——预测代表真实正确性似然（可能性）的概率估计问题，在许多应用中对分类模型是重要的。 通过大量的实验，我们观察到深度网络的深度、宽度、权重衰减和批归一化是影响校准的重要因素。 在这篇文章中,还提出了一种基于早期置信度校准方法Platt scaling的变式——temperature　scaling 一．引言 校准的概率的重要性 分类网络不仅需要准确，还需要知道什么时候是不正确的。 在一些实际应用中，人们需要可靠的模型进行判断，而不是单纯的需要一个高准确率的模型．以自动驾
论文总结：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
gcf_uinque的博客
02-26 854
论文地址：https://arxiv.org/pdf/1712.05877.pdf 主要内容 目前，将复杂的神经网络部署到小的移动设备上的主流方法有两种：一是设计一种体量小且高效的网络结构，如MobileNet、SqueezeNet、ShuffleNet和DenseNet等；另一种就是将网络的权重和激活值由原本的32位浮点数量化为低精度的定点数。 作者的主要贡献为： 提出一种量化方案，将权重和激...
论文《Revisiting Heterophily For Graph Neural Networks》笔记
bunny___的博客
07-17 1556
【ACM】作者从聚合后节点相似性的角度重新审视异配性，并定义了新的同质性度量方法。基于聚合相似度度量这一指标，作者提出了一种新的框架，称为自适应信道混合（Adaptive Channel Mixing，ACM），它通过自适应地利用聚合、多样化和身份信道来提取更丰富的局部信息，以对应不同的节点异配性情况。
Revisiting multiple instance neural networks
04-18
Of late, neural networks and Multiple Instance Learning (MIL) are both attractive topics in the research areas related to Artificial Intelligence. Deep neural networks have achieved great successes in...
On Beyond-Birthday-Bound Security: Revisiting the Development of ISO/IEC 9797-1 MACs
02-08
ISO/IEC 9797-1 is an international standard for block-cipher-... In this paper, we reveal the invalidity of the suggestion, by presenting a birthday bound forgery attack on the concatenation combiner
Weighted-Entropy-based Quantization for Deep Neural Networks
AI之路
09-01 3356
论文：Weighted-Entropy-based Quantization for Deep Neural Networks 论文链接这是CVPR2017的一篇文文章，是用基于weight entropy做深度学习模型quantization的模型压缩和加速算法。深度学习模型压缩和加速是近年来的一个研究热点，也是将深度学习模型部署到移动端的必经之路，一方面要压缩模型的大小，减少存储，另一方面要减
【今日CV 计算机视觉论文速览 143期】Mon, 15 Jul 2019
TomRen
07-15 1579
第143期 视觉论文速览 --图像解耦操作 --水下图像增强及合成新算法
ICLR 2020会议的16篇最佳深度学习论文
AI公园
05-12 4065
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Kamil Kaczmarek编译：ronghuaiyang导读给大家介绍一下今年的ICLR上的最佳16篇深度学习论文。上...
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 7万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
【论文阅读笔记】Two-Step Quantization for Low-bit Neural Networks
时光机 °的博客
11-10 2238
概要总结   该方法主要就如论文名字一样，把量化激活值和权重的过程分为两步，其主要思想就是先量化激活值再量化权重(以前的方法将激活值和权重一起量化，这样两个量化方向紧密耦合)。   针对量化激活值，提出了稀疏量化方法(作者认为稀疏在网络压缩和加速中能起到很大的作用)。而对于权重量化，将权重量化看成 low-bit 的非线性最小二乘回归问题(对于权重而言，其目的就是得到和原先差不多的输出)。   将...
【神经网络压缩加速之剪枝一】Filter Pruning via Geometric Median for Deep Convolutional Neural Network Acceleration
My Blogs
09-23 3619
Abstract 之前的研究工作都是基于"较小范数不重要"的准则上裁剪神经网络中具有较小范数的卷积核.在这篇论文中,我们分析了基于范数准则并指出该准则的有效性依赖于两个要求,但这两个要求很少同时得到满足.第一,卷积核的范数值分布偏差必须大,即方差大;第二,卷积核中的最小范数必须足够小. 为了解决在不满足上述两个要求的情况下也能压缩网络,本文提出了一个新颖的卷积核剪枝方法,称为基于几何中值的卷积核...
【神经网络压缩加速之剪枝二】Pruning Filters for Efficient ConvNets
My Blogs
09-24 1360
Abstract 神经网络的广泛应用伴随着计算量的增加和参数存储成本. 最近的研究工作在不损害原来准确度的基础上,通过剪枝和压缩不同层间的权重进行网络压缩. 然而,基于幅值的剪枝(magnitude-based pruning)仅能够减少全连接层的参数,而由于修剪网络中的不规则稀疏性,可能无法充分降低卷积层中的计算成本. 我们提出了一个加速的剪枝方法,即修剪那些被认为对输出准确度有很小影响的...
CVPR 2023 | Reliability in Semantic Segmentation: Are We on the Right Track?
画心
04-25 1680
最近计算机视觉由于Transformer获得了急速的发展，虽然域内性能有着上升趋势，但对鲁棒性或不确定性估计等特性的探索较少，这使人们对模型可靠性方面的进步水平产生了怀疑。现有一些工作虽然对此有所探索，但是主要集中在分类模型。这份工作在语义分割中开展了相关的探究，横跨了较旧的基于ResNet的架构到较新的Transformer架构：发现了尽管最近的模型更加鲁棒，但在不确定性估计上总体并未更可靠；探索了可以挽救的方法，并表明提升calibration也可以帮助其他不确定性指标，如misclassificati
[转载]ConvNet vs Transformer, Supervised vs CLIP: Beyond ImageNet Accuracy
wuling129的专栏
02-27 255
作者对于 ConvNet 和 Vision Transformer 架构在 ImageNet 精度之外的模型行为进行了深入分析，每个架构都涵盖了有监督训练范式和 CLIP 训练范式。尽管作者选择的模型具有相似的 ImageNet 精度和计算要求，但本文发现它们在许多其他的方面有所不同： 错误类型 (types of mistakes) 输出校准 (output calibration) 迁移性能 (transferability) 特征方差 (feature invariance)
MNN量化—ADMM优化算法
独行侠
10-09 3019
作者：糖心他爸 链接：https://zhuanlan.zhihu.com/p/81243626 来源：知乎 从优化的角度出发（对应MNN中的ADMM求解） 从优化的角度出发，又该如何进行建模和求解呢？首先如果我们想从优化角度去解决该问题，我们首先需要先建立目标函数，这里我们定义一个目标：希望编码后的数据（int8）经过反编码后，跟原数据的”距离“尽可能的接近。该描述可以通过如下数学公式进行刻画： 广义目标函数 进一步的，假设我们这里选定的度量D为L2度量，f和E的选取跟文章一开始时候介绍的一致
Consider revisiting the entries above or defining a bean of type 'feign' in your configuration.
最新发布
06-19
定义Feign客户端接口用户的问题是如何在Spring配置中定义一个Feign类型的bean。实际上，Feign客户端是通过接口定义的，然后由Spring在运行时创建实现类。因此，我们不需要显式地使用`@Bean`来定义，而是通过`@...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值