QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning

UnknownBody

于 2024-05-15 16:47:19 发布

阅读量100

点赞数

分类专栏： LLM Daily LLM Training 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138913005

版权

LLM Daily 同时被 2 个专栏收录

1255 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Training

71 篇文章

订阅专栏

QDyLoRA是一种针对大型语言模型（LLM）的量化动态低秩自适应方法，解决了GPU内存限制和有效LoRA秩寻找的挑战。它在预定义的LoRA秩上进行微调，无需额外步骤即可调整较低秩，允许在单个32 GB V100-GPU上微调Falcon-40b。实验显示QDyLoRA在某些情况下优于QLoRA，为LLM微调提供了一种灵活且高效的技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning》的翻译。

摘要

微调大型语言模型需要巨大的GPU内存，限制了获取大型模型的选择。虽然低秩自适应技术的量化版本QLoRA显著缓解了这一问题，但找到有效的LoRA秩仍然具有挑战性。此外，QLoRA是在预定义的秩上进行训练的，因此，在不需要进一步微调步骤的情况下，不能为其较低的秩进行重新配置。本文提出了一种有效的量化动态低秩自适应方法——QDyLoRA。受Dynamic LoRA的启发，QDyLoRA能够在一组预定义的LoRA秩上有效地微调LLM。QDyLoRA能够通过一轮微调在单个32 GB V100-GPU上对Falcon-40b进行微调，使其排名从1到64。实验结果表明，QDyLoRA与QLoRA相比具有一定的竞争性，并且在使用其最优秩时表现优于QLoRA。