A Comprehensive Evaluation on Quantization Techniques for Large Language Models

文章主要内容总结

本文聚焦大语言模型（LLMs）的后训练量化（PTQ）技术，旨在解决现有量化方法因组件复杂、实验配置不一致导致的难以公平比较的问题，并深入分析量化方法的理论关联。

1. 核心框架：将现有量化方法分解为两个关键步骤——量化前转换（通过移位、缩放、旋转等预处理减少异常值影响，使数据分布更适合量化）和量化误差缓解（通过自补偿、低秩分支补偿等技术抵消量化引入的误差）。
2. 实验评估：在统一配置下（如W4A4精度、相同模型和任务），评估了不同量化组件的组合效果，包括优化的旋转与缩放、GPTQ与低秩补偿的结合等。
3. MXFP4格式分析：探究了最新的MXFP4数据格式（NVIDIA Blackwell架构支持）的量化性能，发现其在处理长尾分布上优于INT4，但INT4的最优量化前转换策略并不适用于MXFP4。

实验结果表明：优化的旋转和缩放是最优的量化前转换方法；低秩补偿与GPTQ结合有时优于单独使用GPTQ；MXFP4需要专门的量化策略。

创新点

1. 理论分解：首次将量化方法系统性分解为“量化前转换”和“量化误差缓解”两步，明确各组件的作用，为理论分析和公平比较奠定基础。
2. 统一评估：在相同实验配置（如粒度、对称性、模型和任务）下，全面评估了不同量化组件的组合效果，填补了现有研究中因配置差异导致的评估缺