让大模型“轻装上阵”的秘密武器：LoRA

LoRA：低秩适配器

LoRA基础

低秩适应 (LoRA) 是最常用的 PEFT 技术之一。它由微软在以下论文中提出：

LoRA: Low-Rank Adaptation of Large Language Models

一个神经网络由多个执行矩阵乘法的稠密层组成，其权重矩阵通常是满秩的。

但是，什么是满秩矩阵？

在继续之前，至关重要的是要理解满秩矩阵和低秩矩阵之间的区别。

- 满秩矩阵：当矩阵的所有行或列线性独立时，该矩阵为满秩矩阵。这意味着没有任何向量可以通过组合其他向量来形成——它们各自指向独特的方向并添加新的、独立的信息。

- 低秩矩阵：当一个矩阵的秩小于其最大可能秩（即行数或列数中的较小者）时，该矩阵是低秩的。这种情况发生在某些行或列线性相关时，意味着它们可以通过组合矩阵中的其他向量来创建。因此，存在冗余，并非所有向量都贡献独特的信息。

简而言之，区别在于独立性和唯一性：

- 满秩：所有向量都是独立的——没有冗余。

- 低秩：一些向量依赖于其他向量——存在冗余。

当我们完全微调一个LLM时，我们会更新这些权重满秩矩阵。LoRA背后的主要思想是使用低秩矩阵来近似这种更新。

由于其冗余性，低秩张量复杂度或结构可以用比其完整表示通常所需的更少的参数来捕