ROSAQ: Rotation-based Saliency-Aware Weight Quantization for Efficiently Compressing Large Language

文章主要内容总结

本文提出了一种基于旋转的显著性感知权重量化方法（ROSAQ），旨在高效压缩大型语言模型（LLMs），同时减少内存需求并提升推理速度。该方法利用Transformer的旋转不变性，在投影特征空间而非原始特征空间中识别显著通道，具体包括三个核心步骤：

1. 基于PCA的投影：对校准集执行主成分分析（PCA），通过PCA投影转换特征空间；针对多头自注意力（MHSA）层，进一步提出头级PCA（head-wise PCA），为每个头的注意力表示单独应用PCA。
2. 显著通道识别：选择对应最大K个特征值的维度作为显著通道，其余为非显著通道。
3. 混合精度的显著性感知量化：显著通道采用FP16精度，非显著通道采用INT3/4精度（按128通道为一组进行量化）。

实验结果显示，在LLaMA3-8B、Qwen2-7B等模型上，ROSAQ在Wikitext2的困惑度（PPL）、零样本常识推理和MMLU任务上的性能优于GPTQ、AWQ等现有量化方法；结合核融合技术，生成256个token（批量大小64）时，速度较FP16实现提升约2.3倍。

创新点

1. 基于旋转不变性的显著通道识别：利用Transformer的旋转不变性，通过PCA投影将特征转换到主成分空间，以特征值最大的主成分作为显著通道，相比原始空间中基于幅度的识别更有效。
2. 头级PCA投影：在MHSA层中，为每个头的注意力