L4Q: Parameter Efficient Quantization-Aware Training on Large Language Models via LoRA-wise LSQ

本文是LLM系列文章，针对《L4Q: Parameter Efficient Quantization-Aware Training on Large Language Models via LoRA-wise LSQ》的翻译。

摘要

训练后量化（PTQ）和量化感知训练（QAT）方法在减轻与大型语言模型（LLM）相关的高内存和计算成本方面越来越受欢迎。在资源受限的场景中，PTQ由于其减少的训练开销，通常比QAT更受欢迎，尽管后者有更高的准确性潜力。同时，已经引入了诸如低秩自适应（LoRA）的参数有效微调（PEFT）方法，并且最近的工作已经探索了量化感知的PEFT技术。然而，由于这些方法依赖于预量化模型的配置，因此可能缺乏通用性。它们的有效性可能会受到非线性量化或混合精度权重的影响，并且特定量化参数的再训练可能会阻碍最佳性能。为了应对这些挑战，我们提出了L4Q，一种用于参数有效量化感知训练的算法。L4Q利用了LLM的LoRA学习量化步长，旨在增强通用性。L4Q的同时量化和微调过程适用于高精度模型，产生具有卓越精度的线性量化权重。我们使用教学数据集在LLaMA和LLaMA2模型家族上进行的实验展示了L4Q在语言理解和小样本上下文学习方面的能力，实现了低于4位的精度，同时保持了与在量化模型上应用PEFT相当的训练时间。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们提出了L4Q，这是一种有效的LLM量化方法，并证明了与低精度训练的LoRA和QAT相比，用近一半的内存使用量量化模型的能力。L4Q通过将量化器与LoRA层合并，在LLM上实现轻量级但实用的QAT。通过使用LoRA之上的量化尺度和偏差参数作为训练参数，并以较低的优化器状态精度