IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens Intact

本文是LLM系列文章，针对《IntactKV: Improving Large Language Model Quantization by
Keeping Pivot Tokens Intact》的翻译。

摘要

大型语言模型（LLM）擅长于自然语言处理，但需要密集的计算。为了缓解这种情况，已经探索了各种量化方法，但它们会影响LLM的性能。本文揭示了LLM中一种以前被忽视的异常值类型。发现这种异常值将大部分注意力分数分配在输入的初始标记上，称为枢轴标记，这对量化LLM的性能至关重要。鉴于此，我们建议IntactKV从全精度模型中无损地生成枢轴token的KV缓存。该方法简单且易于与现有的量化解决方案相结合。此外，INTACTKV可以被校准为额外的LLM参数，以进一步提升量化的LLM。数学分析也证明INTACTKV有效地降低了量化误差的上限。经验结果表明，INTACTKV带来了一致的改进，并在各种下游任务上实现了无损的仅加权INT4量化，从而为LLM量化带来了新的技术水平。

1 引言

2 动机

3 方法

4 实验

5 结论

在本文中，我们提出了INTACTKV，这是一种简单易组合的方法来改进大型语言模型的量化。这项研究的动机是之前被忽视的枢轴token的异常值，这导致了对量化LLM性能至关重要的注意力下沉。通过生成具有全精度模型的INTACTKV，可以有效地减轻在注意力得分上累积的