量化网络训练--Towards Effective Low-bitwidth Convolutional Neural Networks

最新推荐文章于 2023-08-26 00:46:33 发布
原创 最新推荐文章于 2023-08-26 00:46:33 发布 · 1.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍CVPR2018论文，提出三种训练技巧提高低bitwidth卷积神经网络精度。技巧包括：先量化权重再激活，逐步降低位宽，及通过全精度网络指导低精度网络训练。

Towards Effective Low-bitwidth Convolutional Neural Networks
CVPR2018
https://github.com/nowgood/QuantizeCNNModel

本文针对 低 bitwidth CNN网络 提出三个训练技巧 以得到较高精度。这些技巧可以独立使用也可以结合使用。

第一个技巧：首先量化 weight，得到足够好的效果后再 量化 activation
第二个技巧：逐步降低网络的位数，32-bit→8-bit→4-bit→2-bit
第三个技巧：同时训练高精度网络和低精度网络，两者相互学习 train a full-precision network alongside the target low-precision network， Guided training with a full-precision network

It is observed that by using the guidance of the teacher model, better performance can be obtained with the student model than directly training the student model on the target problem.

在这里插入图片描述

在这里插入图片描述

【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-25 2万+
本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。
CHES 2023 issue-2文章总结
最新发布
dedanddwb的博客
07-25 804
来源：https://ches.iacr.org/2023/acceptedpapers.php。
【论文阅读笔记】Towards Effective Low-bitwidth Convolutional Neural Networks
时光机 °的博客
11-12 1437
全文概括   该论文主要是介绍了一些训练量化网络的Tricks，其4-bit网络的表现比 5-bit 的INQ网络效果要好一点。   该论文为训练量化网络提供了三个方法： 两步优化策略 ，先量化权重，再量化激活值;（Two-step, TS） 逐步量化 ，在训练过程中逐步减少量化位宽;（Progressive Quantization, PQ） 联合训练 浮点网络和低精度网络;（Guided t...
Towards Effective Low-bitwidth Convolutional Neural Networks
09-18
This paper tackles the problem of training a deep convolutional neural network with both low-precision weights and low-bitwidth activations. Optimizing a low-precision network is very challenging since the training process can easily get trapped in a poor local minima, which results in substantial accuracy loss. To mitigate this problem, we propose three simple-yet-effective approaches to improve the network training. First, we propose to use a two-stage optimization strategy to progressively find good local minima. Specifically, we propose to first optimize a net with quantized weights and then quantized activations. This is in contrast to the traditional methods which optimize them simultaneously. Second, following a similar spirit of the first method, we propose another progressive optimization approach which progressively decreases the bit-width from high-precision to low-precision during the course of training. Third, we adopt a novel learning scheme to jointly train a full-precision model alongside the low-precision one. By doing so, the full-precision model provides hints to guide the low-precision model training. Extensive experiments on various datasets (i.e., CIFAR-100 and ImageNet) show the effectiveness of the proposed methods. To highlight, using our methods to train a 4-bit precision network leads to no performance decrease in comparison with its fullprecision counterpart with standard network architectures (i.e., AlexNet and ResNet-50)
【神经网络的压缩(第二弹)】Extremely Low Bit Nerual Network
weixin_41977410的博客
10-12 715
主题：【神经网络的压缩(第二弹)】Extremely Low Bit Nerual Network 简介： 阿里巴巴团队提出来的低比特神经网络，被AAAI 2018收录为oral。2018年引用数不高，不过既然是深度学习压缩相关的文章，试着读读看一下。 附上论文链接：http://cn.arxiv.org/pdf/1707.09870v2     摘要：摘要部分总结来说就是深度学习模型已...
[京哥读论文]之Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM
京哥搞异构AI
06-01 1596
Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM Abstract 在DeepLearning日益发展的同时，模型压缩的关注度也越来越大。继BWN和TWN之后， 这篇论文在超低比特量化领域的一篇新思想文章，发表在AAAI2018上，作者是阿里的。 该文的主要思想是将超低bit quantizatio...
个人 解析“Weighted-Entropy-based Quantization”
听枫烨阁的博客
05-08 898
原文链接 中文翻译 由于最近在做网络量化方面的工作，看了一下这个论文。 作者在github上开源了源码，结合论文看并不复杂。 我先总结一下，想要直接看结果的看官可以根据我的结论，判断自己是否要继续看下去。 这篇论文和源码的实现，因为权重量化与激活量化并没有很好的结合在一起，所以不适合于工程上实现，虽然精度的确没有下降很多，但是计算的速度难以提升。 这里只属于自己看完之后的一些总结，以及...
目标检测经典论文——R-CNN论文翻译：Rich feature hierarchies for accurate object detection and semantic segmentation
bigcindy的博客
07-27 5780
Rich feature hierarchies for accurate object detection and semantic segmentation——Tech report (v5) 用于精确物体定位和语义分割的丰富特征层次结构——技术报告（第5版） Ross Girshick Jeff Donahue Trevor Darrell Jitendra Malik UC Berkeley 加州大学伯克利分校 {frbg,jdonahue,trevor,malikg}@...
卷积神经网络——实例分割之Mask R-CNN论文翻译
itlilyer的博客
09-29 4962
论文链接 https://arxiv.org/abs/1703.06870 相关论文翻译链接 R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/107190083 Fast R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/107764472 Faster R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/108049850 Mask R-C
神经网络和有限元方法
LSEC小陆的博客
01-03 8590
用神经网络来表示有限元函数 今天，我想分享的东西是许进超老师的一篇文章，ReLU Deep Neural Networks and Linear Finite Elements。你可以理解为，这是一篇译文。 主要内容 它主要是关于神经元数与层数，在用DNN表示线性有限元的时候。它告诉我们，当维数大等于2的时候，我们至少需要两个隐藏层，在用ReLu DNN表示线性有限元函数的时候。因为在其它的文献中...
（QAT）DOREFA-NET：低比特在线量化训练方法
kebijuelun的博客
06-18 1726
Paper name DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS Paper Reading Note URL: https://arxiv.org/pdf/1606.06160.pdf TL;DR 提供了低比特权重、特征、梯度的在线量化训练方案 量化位宽的重要性排序为：梯度>特征>权重，所以实验中的配比建议为 1w4f6g（1bit权重，4bit特征，6
DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS
JachinMa的博客
01-14 1673
BNN和异或网将权重和卷积层的值进行量化，进而将在前相传播过程中花费最多的卷积操作转化为了两个bit向量的逐比特的点积： 这里bitcount计算比特向量中比特的数量。 之前的网络都没能在反向传播保持8比特以下的精度的同时，能够拥有可接受的精度。 dorefa-net的创新点在于： 1、它能够以任意的精度量化权重、激活层和梯度。 2、由于比特卷积可以高效地在各种设备上实现，因此他为在各种软件上实...
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
安静到无声
08-08 943
2. 方法 2.2 直通估计器 由低位宽kkk表示的实数集只有一个小的数集2k2^k2k。然而，从数学上讲，任何取值范围较小的连续函数相对于其输入都必然具有零梯度。我们采用“直通估计器”(STE)方法 (Hinton et al., 2012b; Bengio et al., 2013) 来规避该问题。可以将 STE视为具有任意前向和后向操作的运算符。 一个简单的例子是为概率为p/in[0,1]p /in [0, 1]p/in[0,1]的Bernoulli抽样定义的STE ...
神经网络模型量化论文小结
热门推荐
u012101561的博客
07-22 2万+
现在“边缘计算”越来越重要，真正能落地的算法才是有竞争力的算法。随着卷积神经网络模型堆叠的层数越来越多，网络模型的权重参数数量也随之增长，专用硬件平台可以很好的解决计算与存储的双重需求，但目前还不成熟，存在些亟待解决的问题，没能大规模商用。对模型进行参数量化的主要目的是减小模型存储体积，加速运算，能够将算法应用在通用的嵌入式移动平台。陆陆续续阅读了关于模型量化的论文，通过这篇博客做一个...
文献阅读（98）量化
tiaozhanzhe1900的博客
10-03 335
文章目录1 缩写 & 引用2 abstract & introduction 题目：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 时间：2018 会议：CVPR 研究机构：谷歌 参考链接1：https://blog.youkuaiyun.com/mizh...
使用boost库中的bit_width函数计算二进制数的位数
TechWhiz的博客
08-26 653
接着，我们使用boost::core::bit_width函数来计算num的位数，并将其打印出来。为此，Boost库提供了一个方便的函数，名为boost::core::bit_width。因此，通过使用boost::core::bit_width函数，我们可以轻松地计算一个整数值的二进制表示中有多少位，并将其用于各种应用程序中。boost::core::bit_width函数返回了正确的结果。以下是一个示例程序，展示了如何使用boost::core::bit_width函数来计算一个数的二进制位数。
Logisim元件用法详解一：Wiring 线
Hi_KER的博客
10-24 2万+
文章为Hi_KER原创，因本人能力不足，文章难免有所纰漏，欢迎大家指正。 文章中英文后括号内的翻译均为笔者自行翻译，非官方翻译，特此提醒。 首先放上元件清单，本篇博文讲解Wiring类别的元件 图0 元件清单 1.Splitter 分流器 简介 分流器可以把一个多位的输入拆分为若干位，也可反过来把若干个若干位的输入合并为一个输出，可在设置中设置具体拆分方式 部分属性说明 Facing（朝向） 控制元件的朝向 Fan Out（分流输出） 设置输出口的数量 Bit Width In（输入
Nor Flash中的一些术语
08-15 3196
【Nor Flash中的一些术语】 1. Bottom/Top Boot Sect(底部/顶部 启动块) 所谓的boot sect，是指的是Nor Flash和Nand Flash不太一样。Nand Flash从开始到最后，都是由同样大小的page所组成的。 而Nor
模型压缩-量化-paper list
好记性不如烂笔头
03-18 1124
目录CVPR20192018ECCV2018ICCV2019 CVPR 2019 Learning to Quantize Deep Networks by Optimizing Quantization Intervals With Task Loss Quantization Networks HAQ: Hardware-Aware Automated Quantization With Mi...
实现实时物体检测：Faster R-CNN与区域建议网络
资源摘要信息:"Faster R-CNN是目标检测领域的一个重要里程碑，其全名为Faster Region-based Convolutional Neural Networks。该算法的核心思想是将目标检测问题分解为两个子问题，即候选区域提取和目标分类与边界框...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值