Lora理解&QLoRA

Parameter-Efficient Fine-Tuning (PEFT) ：节约开销的做法，fine-tune少量参数，而不是整个模型；

Low-Rank Adaptation (LoRA) ：是PEFT的一种；冻结原参数矩阵，只更新2个小参数矩阵。

原文经过对比实验，得出结论，在4个attention矩阵上都用LoRA，效果最好。

过参数化：

现在深度学习的参数动不动就有几百万，LLM的参数更是数十亿起步。许多工作[2]已经表明，深度学习的矩阵往往是过参数化的（over-parametrized）。特征的内在维度（intrinsic dimension）指的是在深度学习中的真实或潜在的低维结构或信息的维度。它表示特征中存在的有效信息的维度，与特征的实际维度可能不同。事实上许多问题的内在维度比人们认为的要小的多，而对于某个数据集，内在维度在不同参数量级的模型上差距并不大。这个内在维度指的是我们解决这个问题实际上需要的参数空间的维度，我们对模型的微调通常调整的也是这些低秩的内在维度。这个结论说明了两个现象：

1. 一旦我们找到了足够解决问题的参数空间，再增加这个参数空间的大小并不会显著提升模型的性能。
2. 一个过参数的模型的参数空间是有压缩的空间的，这也就是LoRA的提出动机

在初始化时， A 使用高斯初始化， 使用的零矩阵 进行的初始化。因为 r通常是一个非常小的值（实验证明1，2，4，8的效果就非常好），所以LoRA在训练时引入的参数量是非常小的，因此它的训练也是非常高效的，也不会带来显著的显存增加。

LoRA要求 A 或者 B其中之一必须使用零矩阵进行初始化，这样当数据第一次通过网络时，它和预训练的结果是一致的，这样便保证了模型在初始阶段便有一个不错的效果。

我们先思考两个问题：为何用数千的样本就能将一个数十亿参数的模型微调得比较好？为何大模型表现出很好的few-shot能力？
Aghajanyan的研究表明：预训练模型拥有极小的内在维度(instrisic dimension)，即存在一个极低维度的参数，微调它和在全参数空间中微调能起到相同的效果。
同时Aghajanyan发现在预训练后，越大的模型有越小的内在维度，这也解释了为何大模型都拥有很好的few-shot能力。

分析：

https://zhuanlan.zhihu.com/p/702629428

计算量并没有减少；

训练数据需求量减少，收敛加快：因为需要更新的参数量减少了很多；

显存量减少：原始训练，大约存储4*W的量（W+Gradient+α+β）；用了LoRA，因为不更新原始大W了，后三者省掉，变成了1*W的量。

如上图，70B模型，Full&FP16时，是600GB显存，约等于70B*4*2Bytes=560GB；（Activation还得保存）；LoRA时，是160GB，约等于70B*2Bytes=140GB;

代码的视频讲解：lora源码解读_哔哩哔哩_bilibili

初始化：

"self.weight.requires_grad = False": 冻结原始W大矩阵，不参与参数更新；

对应参数：

（attention里的W，FFN里的W，在Lora训练里，都是被冻结的！）

综上，计算量并没有减少！

QLoRA:

(11 封私信 / 80 条消息) QLoRA - 搜索结果 - 知乎

非均匀量化