QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量781

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133709223

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了一种名为QA-LoRA的算法，用于解决大型语言模型（LLM）在边缘设备上部署时的计算负担问题。QA-LoRA通过量化和低秩自适应的群算子操作，平衡了量化自由度和自适应自由度，减少了模型的计算需求和内存占用，同时保持了精度。该方法在LLaMA和LLaMA2模型上进行了验证，有效性和代码将在GitHub上发布。

本文是LLM系列文章，针对《QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》的翻译。

摘要

近年来，大型语言模型(llm)得到了迅速的发展。尽管llm在许多语言理解任务中具有很强的能力，但沉重的计算负担在很大程度上限制了llm的应用，特别是当需要将它们部署到边缘设备上时。本文提出了一种量化感知的低秩自适应(QA-LoRA)算法。其原因在于量化自由度与自适应自由度不平衡，解决方法是采用群算子，提高量化自由度，降低自适应自由度。QA-LoRA很容易用几行代码实现，它为原始LoRA提供了双重能力:(i)在微调期间，LLM的权重被量化(例如，进入INT4)，以减少时间和内存使用;(ii)微调后，LLM和辅助权重自然地整合到一个量化模型中，而不损失精度。我们将QA-LoRA应用于LLaMA和LLaMA2模型家族，并在不同的微调数据集和下游场景中验证了其有效性。代码将在https://github.com/ yuhuixu1993/qa-lora上提供。