QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models

QR-LoRA论文总结与核心部分翻译

一、论文主要内容总结

1. 研究背景

随着大型语言模型（LLMs）规模不断扩大，全量微调需更新数亿甚至数十亿参数，带来高昂的计算、存储与环境成本。现有参数高效微调方法（如LoRA、SVD-LoRA）虽能减少可训练参数，但存在不足：标准LoRA需学习两个低秩矩阵，参数仍较多；SVD-LoRA基于预训练权重的奇异值分解（SVD）初始化矩阵，计算成本高且基向量缺乏明确重要性排序。

2. 核心方法：QR-LoRA

• 基础原理：通过带列主元的QR分解，从预训练权重矩阵中提取正交基，将LoRA的权重更新表示为这些基向量的线性组合，仅训练组合中的标量系数（λi\lambda_iλ