AI服务生活

本章通过三个浮点数（-1.0、0.5、0.8）详解INT8量化过程，揭示量化核心：将浮点数映射到有限整数空间（-128~127），依赖Scale（缩放因子）与Zero Point（零点偏移）实现精确转换。强调量化本质是用256种离散状态近似连续值，引入误差；对比对称与非对称量化，说明Zero Point在非对称场景中的必要性，并引出量化粒度（Per-Tensor、Per-Channel、Group-wise）对精度的影响，为后续低比特量化方法铺垫基础。

本章通过实验证明，量化可显著降低LLM存储与显存需求：7B模型从FP32到INT4，权重大小由28GB降至3.5GB，使小显存设备运行大模型成为可能。量化核心价值不仅在于“模型变小”，更在于缓解显存压力、降低内存带宽负担，提升部署可行性。但量化伴随精度损失，非越低比特越好，需权衡性能与误差。真正的量化是精细的数值映射，而非简单类型转换。

大语言模型（LLM）因参数规模庞大（如7B即70亿参数）而占用海量显存。以FP16为例，7B模型仅权重就需约14GB，实际推理还需额外显存用于KV Cache、Activation和临时Buffer。量化通过降低参数位宽（如从FP16到INT8或INT4），显著压缩权重存储，使模型更易部署于有限显存设备。但量化主要影响权重，对KV Cache等不直接生效，因此显存节省并非线性。理解“模型有多大”与“显存怎么用”是掌握量化的前提。