Extreme Compression of Large Language Models via Additive Quantization

本文是LLM系列文章，针对《Extreme Compression of Large Language Models via Additive Quantization》的翻译。

摘要

准确的开放大型语言模型 （LLM） 的出现导致了对高性能量化技术的竞争，这些技术可以在最终用户设备上执行它们。在本文中，我们从多码簿量化 （MCQ） 中经典方法的角度重新审视了“极端”LLM 压缩问题，定义为针对极低的位数，例如每个参数 2 到 3 位。我们的算法称为 AQLM，它推广了用于信息检索的经典加法量化 （AQ） 方法，通过两项创新来推进 LLM 压缩的最新技术：1） 以输入自适应方式学习权重矩阵的加法量化，以及 2） 每个transformer模块的码本参数的联合优化。从广义上讲， AQLM 是第一个在压缩到每个参数小于 3 位的精度与模型大小方面是帕累托最优方案的方案，并且显著改进了极端压缩 （2bit） 方案中所有已知的方案。此外，AQLM 很实用：我们提供 AQLM 的快速 GPU 和 CPU 实现来生成token，这使我们能够在速度上匹配或超越优化的 FP16 实现，同时以更小的内存占用执行。

1 引言

2 背景和相关工作

3 AQLM：LLM 的加法量化

4 实验

5 结论和未来工作

我们提出了 AQLM，这是一种针对 LLM 压缩的新型加法量化 （AQ），它显着改善了每个权重 2 位和 3 位的 LLM 量化的最新结果。就限制而言，AQLM 比直接训练后量化方法（如 RTN 或 GPTQ）的计算成本更高，特别是因为使用了更复杂的编码表示。然而，尽管编码和解码更加复杂，