征程 6｜工具链量化简介与代码实操

一、量化简述

1.1 定义

将网络参数从 32 位浮点数据映射到更低位数（int16/int8/int4 等）的数据，这个过程称之为量化。反之，称之为反量化。

量化本质上是对数值范围的重新调整，可以「粗略」理解为是一种线性映射。（之所以加「粗略」二字，是因为有些论文会用非线性量化（对数量化等），但目前在工业界落地的还都是线性量化（对称量化、非对称量化、二值化等），地平线采用的主要是线性量化中的对称量化。

反量化一般没有信息损失，而量化一般会有精度损失。这是由于 float32 能保存的数值范围比 uint8 多，因此必定有大量数值无法用 uint8 表示，只能四舍五入成 uint8 类型的数值，继而引起量化误差。

量化的可行性依据：神经网络具有良好的鲁棒性，将高精度模型量化到低精度模型，这个过程可以认为是引入了噪声，而模型对噪声相对不敏感，因此量化后的模型也能保持较好的精度。

量化的目的：降低计算复杂度，提高模型推理速度，降低存储体积，减少计算能耗。在一些对能耗和时间要求更高的场景下，量化是一个必然的选择。

量化的可行性依据：神经网络具有良好的鲁棒性，将高精度模型量化到低精度模型，这个过程可以认为是引入了噪声，而模型对噪声相对不敏感，因此量化后的模型也能保持较好的精度。

量化的目的：降低计算复杂度，提高模型推理速度，降低存储体积，减少计算能耗。在一些对能耗和时间要求更高的场景下，量化是一个必然的选择。

1.2 浮点/定点转换公式

用 r 表示浮点实数，q 表示量化后的定点整数。浮点和整型之间的换算公式为：

其中，S 是 scale，表示实数和整数之间的比例关系，Z 是 zero point，表示实数中的 0 经过量化后对应的整数，它们的计算方法为：

其中， 、 分别是 浮点实数r 的最小值和最大值， qmin 、qmax 分别是定点整数 q 的最小值和最大值。

重点解释：定点整数的 zero point 代表浮点实数的 0，二者之间的换算不存在精度损失，这一点可以从公式 （2） 中看出来，把 r=0 代入后就可以得