26、神经网络量化技术：从后训练量化到量化感知训练

神经网络量化技术：从后训练量化到量化感知训练

1. 后训练量化（PTQ）中的关键技术

在神经网络量化领域，后训练量化（PTQ）是一种重要的技术手段，它无需使用标注数据对网络进行重新训练，具有高效且易于实现的特点。不过，PTQ 也存在一定的局限性，尤其是在进行低比特量化时，量化误差可能会显著影响模型性能。下面我们将详细介绍 PTQ 中的几个关键技术。

1.1 跨层均衡（CLE）

跨层均衡（CLE）是对全精度模型进行预处理的步骤，其目的是使模型更适合量化。对于具有深度可分离层的模型以及张量级量化，CLE 尤为重要，但它通常也能提升其他层和量化选择的性能。以 MobileNetV2 为例，表 1 展示了 CLE 对其在 ImageNet 验证集上的精度影响。

模型	FP32	INT8
原始模型	71.72	0.12
+ CLE	71.70	69.91
+ 吸收偏差	71.57	70.92
逐通道量化	71.72	70.65