IMPROVING QUANTIZED KNOWLEDGE DISTILLATION VIA SIGNAL PROPAGATION ANALYSIS FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《OH! WE FREEZE: IMPROVING QUANTIZED KNOWLEDGE DISTILLATION VIA SIGNAL PROPAGATION ANALYSIS FOR LARGE LANGUAGE MODELS》的翻译。

摘要

大型生成模型，如大型语言模型（LLM）和扩散模型，分别彻底改变了NLP和计算机视觉领域。然而，它们的推理速度慢、计算量和内存需求高，使得将它们部署在边缘设备上具有挑战性。在这项研究中，我们提出了一种轻量级的量化感知微调技术，使用知识蒸馏（KD-QAT）来提高4位加权量化LLM的性能，使用常见的数据集来实现流行的语言用例，即设备聊天应用程序。为了改进这种微调范式，作为主要贡献，我们通过实证研究训练过程中的梯度传播来深入了解KD-QAT的稳定性，以更好地理解基于KDQAT的方法对低位量化误差的脆弱性。基于我们的见解，我们提出了ov-freeze，这是一种稳定KD-QAT过程的简单技术。最后，我们在4位量化级别上对流行的7B LLaMAv2 Chat模型进行了实验，并证明ov-freeze导致了接近浮点的精度性能，即在常识推理基准上的精度损失小于0.7%。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们提出了一种使用知识蒸馏（KD-QAT）的轻量级量化感知微调技术，以提高流行的W4A16量化LLM LLaMAv2Chat的性能，对于一个重要的用例，即使用常用数据集的设备聊天应用程序。我们对LLaMAv2 Chat模型的前向和后向传递进行了系统研究，并分析了输出和梯度特征图，以提示多头注意力模块中o层和v层的极端敏感性。为了提高量化微调的稳定性，我们提出了ovfreeze，并在4位量化级别上