LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks 论文阅读

• 摘要

　　虽然权重和激活量化是深度神经网络（DNN）压缩的有效方法，并且具有很多利用bit操作来提高推理速度的潜力，但在量化模型和完整模型之间的预测精度方面仍存在明显差距。为了解决这个差距，我们建议联合训练量化的，位操作兼容的DNN及其相关的量化器，而不是使用固定的手工量化方案，例如均匀或对数量化。我们学习量化器的方法适用于任意位精度的网络权重和激活，我们的量化器很容易训练。对CIFAR-10和ImageNet数据集的全面实验表明，我们的方法可以很好地适用于各种网络结构，如AlexNet，VGG-Net，GoogLeNet，ResNet和DenseNet，在准确度方面超过以前的量化方法。代码可从https://github.com/Microsoft/LQ-Nets获得

• 简介

　　我们建议联合训练量化的DNN及其相关的量化器。 所提出的方法不仅使量化器可学习，而且使它们与按位运算兼容，从而保持适当量化的神经网络的快速推理优点。 我们的量化器可以通过标准网络训练管道中的反向传播进行优化，并且我们进一步提出了一种基于量化误差最小化的算法，其产生更好的性能。 所提出的量化可以应用于网络权重和激活，并且可以实现任意比特宽度。 此外，可以应用具有非共享参数的分层量化器以获得进一步的灵活性。 我们将通过我们的方法量化的网络称为“LQ-N