GWQ: Gradient-Aware Weight Quantization for Large Language Models

本文是LLM系列文章，针对《GWQ: Gradient-Aware Weight Quantization for Large Language Models》的翻译。

摘要

大型语言模型 (LLM) 在解决复杂语言任务方面表现出令人印象深刻的性能。然而，其大量的参数给模型在边缘设备上的部署和应用带来了巨大的挑战。将大型语言模型压缩为低位可以使它们在资源受限的设备上运行，这通常会导致性能下降。为了解决这个问题，我们提出了梯度感知权重量化（GWQ），这是第一个低位权重量化的量化方法，它利用梯度来定位异常值，只需要最少量的校准数据即可进行异常值检测。 GWQ 优先以 FP16 精度保留前 1% 异常值对应的权重，而其余非异常值权重以低位格式存储。 GWQ通过实验发现，与在Hessian矩阵定位模型中使用敏感权重相比，在梯度定位模型中使用敏感权重更加科学。与当前的量化方法相比，GWQ 可以应用于多种语言模型，并在 WikiText2 和 C4 数据集上实现较低的 PPL。在零样本任务中，GWQ量化模型相比其他量化方法具有更高的精度。 GWQ也适用于多模态模型量化，量化后的Qwen-VL族模型比其他方法更准确。零样本目标检测任务数据集 RefCOCO 优于当前最先进的方法 SPQR。与原始模型相比，GWQ 实现了 1.2 倍的推理加速，并有效减少了推理内存。

1 引言

2 相关工作

3 提出的方法

4 实验

5 结论

本文介绍了 GWQ，一种基于一阶梯度的仅权重后训练混合精度量化方法。 GWQ 以 FP16 精度保留与前 1% 异常值相对应的权重，同时以较低位格式存储剩余的非异常值权重。