16、高效节能的神经网络调度：LLSQ量化方法解析

高效节能的神经网络调度：LLSQ量化方法解析

1. 神经网络量化的相关工作

边缘或嵌入式神经网络加速器通常有三个主要设计目标：小尺寸、高吞吐量/低延迟和低功耗。针对不同应用和场景，之前对专用深度学习处理器的研究可分为不同类别，包括面向云的仓库机器硬件、低功耗移动处理器以及用于物联网或网络物理设备的超低功耗加速器。

对于移动和嵌入式应用，专用神经网络处理器作为高效的推理硬件解决方案越来越受欢迎。例如：
- DianNao ：用于深度神经网络（DNN）的快速推理，使用16位定点乘法器以实现小硅面积和低能耗。
- ShiDianNao ：通过将所有权重存储在SRAM中，消除大量DRAM访问，从而实现极低的能耗。
- DeepBurning ：简化了不同神经网络模型加速器的设计流程。
- Eyeriss ：提出了行静止（RS）数据流，以最小化空间架构上的数据移动能耗。
- EIE ：利用神经网络的稀疏性和低比特压缩，实现了更好的吞吐量、能耗和面积效率。

在云场景中，像TPU和基于FPGA的加速卡等专用架构也在取代传统的通用图形处理单元（GPGPU）和中央处理器（CPU），用于高吞吐量推理任务。即使是面向云的推理架构，像TPU这样的定点处理架构也更受青睐，因为它们能在给定的功率预算和硅面积开销下提供更高的吞吐量。

然而，对于针对神经网络加速的定点或整数硬件，量化是将浮点网络模型转换为与专用硬件兼容的定点格式的先决条件，也是确保转换后网