《A White Paper on Neural Network Quantization》翻译总结

Quantization fundamentals

Hardware background

这部分内容主要探索量化的硬件背景以及如何让推理在设备上跑起来。
图1展示了神经网络中矩阵向量乘法$\mathbf{y}=\mathbf{W}\mathbf{x}+\mathbf{b}$的计算示意图，这是矩阵乘法和卷积的一个基础组件，主要通过尽可能多的计算并行来提高NN推理的效率。

该神经网络加速器的两个基本组件分别是：processing elements($C_{n,m}$)和accumulators($A_n$)，在上图示例中共有16个processing elements和4个accumulators，具体的计算公式如下：
$$A_n={\mathbf{b}}_n+\sum _m{C}_{n,m}$$
其中$C_{n,m}={\mathbf{W}}_{n,m}{\mathbf{x}}_m$，${\mathbf{W}}_{n,m}$为权重值，${\mathbf{x}}_m$为输入数据，${\mathbf{b}}_n$为偏移值。
上述计算操作也被称为Multiply-Accumulate (MAC)，在大的矩阵乘中这个步骤会重复很多遍，所有循环执行结束后accumulators将被保存用于下一层NN推理。通常神经网络使用float32的权重和激活值进行训练，而MAC操作和数据搬运消耗了推理过程的大部分能量，因此使用低比特定点化或者量化可以获得比较大的收益。低比特量化不仅可以减少数据搬运的次数，同时可以降低MAC操作的尺寸和功耗。
将浮点操作转换为定点，需要先对浮点向量进行定点化。假设浮点向量为$\mathbf{x}$，则其可以表示为：
$$\hat{\mathbf{x}}=s_x\cdot {\mathbf{x}}_{int}\approx \mathbf{x}$$
其中$s_x$浮点类型的尺度因子，${\mathbf{x}}_{int}$是整形向量(如int8)，$\hat{\mathbf{x}}$表示量化后的矢量。则MAC操作的量化形式可以表示为：
A^n=b^n+∑mW^n,mx^m=b^n+∑m(sWWn,mint)(sxxmint)=b^n+sWsx∑mWn,mintxmint {\widehat{\boldsymbol{A}}_{n}}={\widehat{\boldsymbol{b}}_{n}}+ \sum \limits_{m}{\widehat{\boldsymbol{W}}_{n,m}}{\widehat{\boldsymbol{x}} _{m}}={\widehat{\boldsymbol{b}}_{n}}+ \sum \limits_{m}(s_{\boldsymbol{W}}{\boldsymbol{W}}_{n,m}^{int})(s_x{\boldsymbol{x}}_{m}^{int})={\widehat{\boldsymbol{b}}_{n}}+s_{\boldsymbol{W}}s_{\boldsymbol{x}}\color{purple}\sum \limits_{m}{\boldsymbol{W}}_{n,m}^{int}{\boldsymbol{x}}_{m}^{int} A n​=b n​+m∑​W n,m​x m​=b n​+m∑​(sW​Wn,mint​)(sx​xmint​)=b