【GPT入门】第54课 量化位数与存储大小的影响

在大模型量化中，32位、16位、8位、4位指的是参数和计算中使用的数值精度（即每个数值占用的二进制位数），本质是通过减少表示每个参数的比特数来压缩模型。

• 32位（FP32）：单精度浮点数，是模型训练时最常用的精度，每个参数占用32个二进制位（4字节）。
• 16位（FP16/INT16）：半精度浮点数或16位整数，每个参数占用16个二进制位（2字节）。
• 8位（INT8）：8位整数，每个参数占用8个二进制位（1字节）。
• 4位（INT4）：4位整数，每个参数占用4个二进制位（0.5字节）。

关于存储大小是否按“相应倍数降低”：

• 理论上是的：如果所有参数都从32位量化到16位，存储需求会减少到原来的1/2；量化到8位减少到1/4；量化到4位减少到1/8，这是量化最直接的收益。
• 实际中略有偏差：因为量化过程中可能需要保存少量辅助信息（如缩放因子、零点校准值等），这些会占用额外存储，但比例通常很小（一般不超过5%），整体仍接近理论倍数。

例如，一个10GB的FP32模型：

• 量化到FP16约5GB
• 量化到INT8约2.5GB
• 量化到INT4约1.25GB

这种存储压缩对大模型部署至关重要，尤其是在手机、边缘设备等资源有限的场景中。