13、模型量化与优化：提升性能的有效策略

模型量化与优化：提升性能的有效策略

1. 模型量化概述

在模型优化过程中，我们常使用知识蒸馏技术，将教师模型的信息转移到较小的学生模型中，以此降低推理时的计算和内存成本。而量化技术则提供了另一种优化思路，它不减少计算量，而是通过使用低精度数据类型（如 8 位整数 INT8）来表示权重和激活值，替代通常的 32 位浮点数 FP32，从而提高计算效率。通过减少位数，量化后的模型所需的内存存储更少，矩阵乘法等操作使用整数运算可以更快完成，并且在精度损失极小甚至无损失的情况下实现性能提升。

1.1 浮点数与定点数基础

如今，大多数 Transformer 模型在预训练和微调时使用浮点数（通常是 FP32 或 FP16 与 FP32 的混合），因为它们能提供足够的精度来适应权重、激活值和梯度的不同范围。以 FP32 为例，它由 32 位组成，分为符号位、指数位和尾数。例如，数字 137.035 可以表示为十进制浮点数：$137.035 = (-1)^0 × 1.37035 × 10^2$，其中 1.37035 是尾数，2 是 10 进制的指数。通过指数，我们可以表示广泛的实数范围，小数点或二进制点可以相对于有效数字任意放置，这就是“浮点数”名称的由来。

然而，模型训练完成后，推理只需要前向传播，此时可以降低数据类型的精度而不会对准确性产生太大影响。对于神经网络，低精度数据类型通常使用定点数格式，其中实数表示为 B 位整数，并通过一个公共因子进行缩放。例如，137.035 可以表示为整数 137035，缩放因子为 1/1000。我们可以通过调整缩放因子来控制定点数的范围和精度。

1.2 神经网络的量化原理

量化神经网络的权重