weixin_44287798的博客

二值化网络前言部分本文引用【Binary Neural Networks: A Survey 】的观点，后续其他内容根据实际进行补充背景二值网络大幅度的节省了内存和计算量，以便在资源有限的设备上部署深度学习模型。然而，二值化势必会导致信息丢失，并且更糟糕的是，其不连续性给深度模型优化带来了困难。为了解决这些问题，大量的算法被提出，并在近几年取得了一定的进展。本文针对这些算法进行了一个综合性的调研，主要分为以下几类：原始解决方案二值化，以及使用最小化量化误差、改进网络损失函数和减少梯度误差。我们也调查了二

quantization & object detection2018-2021能够检索的文章有9篇CVPR[2]、ECCV[1]AQD: Towards Accurate Quantized Object Detection. CVPR 2021: 104-113Fully Quantized Network for Object Detection. CVPR 2019: 2810-2819Quantization Mimic: Towards Very Tiny CNN for.

#1提出问题：如何将复杂的CNNs成功部署到移动端等内存较小的设备中？【本篇中，中文的中括号里代表的是注释】解决方案主要分为两类：1.开发新的网络架构【exploit computation or memory efficient operations】【eg：MobileNet SqueezeNet ShuffleNet DenseNet】2.量化CNN中的权重与激活函数，把原本fp32数据用更低位精度的数据表示。【eg：三元权值网络、二元神经网络】文中说到，尽管这些网络挺好，但是在权衡延迟和准

这里写自定义目录标题PfQ阅读笔记摘要一、INTRODUCTION二、RELATED WORK AND PROBLEM在这个地方，我会根据自己的理解阐述为什么PfQ有效的原因三.PROPOSALEXPERIMENTSPfQ阅读笔记此篇文章最大的亮点是发现了在量化过程中，权重的动态范围会因为某些输入变大，这对量化来说是不太友好的，因此提出了PfQ对相应的输入进行pruning，然后为了保证输出不变，将对应的效果叠加到了b中，现在开始介绍这篇paper文章目录PfQ阅读笔记摘要一、INTRODUCTION