qq_35608277的博客

而网络在经过量化后，同样的数据经过该层后，其均值已经不符合原BN统计出的均值，也即数据分布发生了变化(注意BN存在于多个层，这里说的数据分布是泛指各个层的激活，而不仅仅指第一层网络的输入)。如上图所示，是32张图片经过MobileNet某层某channel后激活值分布情况，Q是量化模型，FP是float模型，可以看到两个数据分布是不一样的，均值会发生偏移。文章认为量化会使网络激活值的均值发生偏移，通过对偏移进行修正，可以有效提高量化模型的性能。网络BN会统计出数据经过某层后的均值和方差信息。...

ref翻译https://blog.youkuaiyun.com/chengyq116/article/details/102555238

BNN综述2020https://mp.weixin.qq.com/s/QGva6fow9tad_daZ_G2p0Q量化综述2018https://www.jiqizhixin.com/articles/2018-06-01-11https://chenrudan.github.io/blog/2018/10/02/networkquantization.html...

论文题目：Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm_ECCV2018引用量：27code:caffe版：https://github.com/liuzechun/Bi-Real-ne...

DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++2016论文开源了一个AlexNet的DOREFA-NET实现,可以使得权重、激活和梯度都量化二值运算还是BNN的bitcount xnor提出了不同的梯度求法Dorefa的在W=1,A=1,G...

SQ-B(T)WN也是一种增量式量化算法，它从不同权重会导致不同量化误差角度，在近似实数权重时，逐渐增加量化比例最终完成全部权重量化。训练时分阶段对权重量化，都是瞄准量化造成误差的一个量化时机问题通过逐步量化权重，比直接全部量化产生的更加合适梯度方向从算法结果上来说，看起来并不是特别好。...

英特尔中国研究院现有的量化压缩方法有两点不足：1.量化过程中的精度损失仍然不可忽视；2.大多数量化压缩方法只适用于处理特定的模型结构和特定类型的层，一定程度限制了泛化能力和量化压缩的性能（这里指的是很多方法对fc层的压缩比较有效，最终得到的比较大的压缩率很大一部分贡献是fc）；另外还有重训练时间长等问题；INQ (Incremental network quantization)。該方法可以將...

本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为：首先将全精度权重正则化到[-1,1]之间，然后根据一个每层相同的阈值delta_t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，Ps：还提了第二种方法，见5.1.1，但论文里没有这一节。。。...

IEEE ISSCC（International Solid-State Circuits Conference 国际固态电路峰会）始于1953年，每年一届，是由IEEE固态电路协会（SSCS）主办的旗舰半导体集成电路国际学术峰会，也是世界上规模最大、最权威、水平最高的固态电路国际会议，被称为集成电路行业的芯片奥林匹克大会。峰会录用和发布了全球顶尖大学及企业最新和具研发趋势最领先指标的芯片成果，历...

深鉴科技的 ESE 语音识别引擎的论文在 FPGA 2017 获得了唯一的最佳论文聚焦于使用 LSTM 进行语音识别的场景，结合深度压缩以及专用处理器架构，使得经过压缩的网络在 FPGA 能够实现超越 Pascal Titan X GPU 一个数量级的能效比。论文中所描述的 ESE 语音识别引擎也是深鉴科技 RNN 处理器产品的原型。软件方面，我们提出了 Load-balance-aware ...

EIE为韩松博士在ISCA 2016上的论文，实现了压缩的稀疏神经网络的硬件加速。与其近似方法的ESE获得了FPGA2017的最佳论文。背景与介绍最新的DNN模型都是运算密集型和存储密集型，难以硬件部署。提出了EIE （Efficient Inference Engine）的方法，将压缩模型应用与硬件。矩阵表示这是一个稀疏矩阵相乘的过程，输入向量a，乘以矩阵W，输出矩阵为b，然后经过了...

DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING原作者基于Alex的代码：https://github.com/songhan/Deep-Compression-AlexNet用Caffe实现：https://github.com/ma...

本文的方法第一步是对矩阵做定点分解，第二步是做全精度的权值的恢复，第三步是权值balancing，最后一步是fine-tuning。同样是一个8*8的矩阵，把权值分解成两个矩阵的乘积形式，保证分解后的两个矩阵是一个定点表示，分解出来的左边矩阵，是一个ternary，右边是ternary的一个表示，中间有一个全精度的，浮点的，对称的矩阵，相当于一个尺度因子。一个直观的解释，如果不考虑正负，...

背景BinaryConnect bwn/XNOR Deep pression SqueezeNet优点提出了一个Ternary weight networks（TWNs），它将网络的权值限制为{−1，0，1}优点：表达能力：3*3卷积核各有几种？二值的，29ternary的，39模型压缩 float ->2bit计算要求 比1bit效果好跟全精度差不多，而且0值...

论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural NetworksGithub：https://github.com/allenai/XNOR-Netyolo的作者Joseph Redmon 作为三作的论文，论文提出了权重二值网络（Binary-Weight-Networks（BWN））和全二值 异或...

Binarized Neural Networks: Training Neural Networks with Weights andActivations Constrained to +1 or − 11 前向和反向传播的数值计算1.1权重和激活函数值二值化公式就符号函数，跟零比，判断正负。1.2二值化的数据梯度对于输入r,经过上面的符号函数后，反向传播时候怎么求梯度gr。...