[论文翻译]Pruning and Quantization for Deep Neural Network Acceleration: A Survey

一、作者简介

Tailin Liang：北京科技大学计算机与通信工程学院

二、文章简介

这是一篇关于神经网络加速的综述，主要关注量化和剪枝部分。

三、正文翻译

摘要

深度神经网络在计算机视觉领域有着广泛的应用，表现出非凡的能力。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过诸如网络压缩等优化来克服。本文综述了两种网络压缩方法:剪枝和量化。我们比较了当前的技术，分析了它们的优缺点，为压缩网络提供了指导，并讨论了未来可能的压缩技术。

1.Introduction

深度神经网络(DNNs)在图像分类、目标检测、语音合成、语义分割等复杂应用中表现出了非凡的能力[129]。最近的神经网络设计已经证明了人类水平的能力，但代价是明显更多的参数和计算复杂度。目前的DNNs有很多参数，训练[26]非常耗时。在嵌入式环境中部署参数较多的大型网络也比较困难。当移动权重、数据计算单元(CUs)和内存时，带宽成为一个限制因素。由于这些网络的设计冗余，它们的压缩精度几乎不受影响[215]。
图1显示了三种可能导致过度参数化的设计考虑:1)网络结构，2)网络优化，以及3)硬件加速器设计。它们的目标是卷积神经网络(CNNs)，但也与DNNs相关。

网络结构包括三个部分:全新的网络组件，网络架构搜索，和知识蒸馏。全新组件设计是设计高效的组件，例如可分离卷积、inceptionblocks、残差块等。它们将在2.4节中详细介绍。全连接神经网络在神经元之间需要N*N个连接。前馈神经网络只考虑向前路径的连接，将参数减少到N个，新的组件可以进一步减少连接。网络架构搜索(NAS)[60]，也被称为网络自动搜索，从一个大型预定义搜索空间以编程方式搜索高效的网络结构。对每个生成的架构都应用一个评估器。虽然计算耗时，但最终架构的性能往往优于手工操作。 知识蒸馏(KD)[74,196]是由知识转移[27]演化而来的。目标是生成一个更简单的压缩模型，它的功能和更大的模型一样。KD培训了一个试图模仿教师网络的学生网络。学生网络通常比老师小，但并不总是这样。训练有素的学生模型在计算上应该比教师模型更简单。
网络优化[128]包括计算卷积优化、参数分解、网络剪枝和网络量化。卷积运算比完全连接的计算更有效，因为它们通过将三维张量作为输入来保持高维信息，而不是将它们平铺成向量，卷积层也比完全连接层(FCLs)需要更少的系数。计算卷积优化包括基于快速傅里叶变换(FFT)的卷积[158]，Winograd卷积[126]和流行的图像到列(im2col)[34]方法。我们将在2.3节详细讨论im2col，因为它与一般的修剪技术高度相关。参数分解是在核张量存在冗余这一共识下工作的。它是一种将高阶张量分解为低阶张量的技术，可简化内存访问和压缩模型大小。因式分解可以应用于卷积滤波器和全连接滤波器。该技术也可用于量化[229]， 并在第4节中讨论。网络剪枝[191,24,12,241]涉及到删除不影响网络精度的参数。修剪被广泛描述。网络量化[123,81]涉及到用缩减的宽度类型替换数据类型，例如，用8位整数(INT8)替换32位浮点数(FP32)。通常可以对这些值进行编码，以保存比简单转换类型更多的信息。第4节对量子化进行了广泛的描述。硬件加速器[141,192]主要是为网络加速而设计的。它们包括专门的CPU指令，GPU、ASIC和现场可编程阵列(FPGA)。
本文主要研究了卷积神经网络的网络优化问题。它的组织如下:在第2节中，我们介绍了神经网络，特别是卷积神经网络。我们还描述了一些卷积的网络优化。在第3节中，我们描述了静态和动态修剪技术。在第4节中，我们讨论了量化及其对精度的影响。我们还比较了量化库和框架。然后，我们给出了一些常见网络的量化精度结果。我们在第5节给出结论并提供适当应用程序使用的指导。最后，我们在第6节提出结束语。