大语言模型微调实践——LoRA 微调细节

1. 引言

近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特定任务上发挥出色，还需借助微调技术。大语言模型的微调技术已经成为自然语言处理领域的一个焦点，其不断的演化和创新正引领着我们进入一个更加精细、个性化的文本处理时代。

在本文中，我们将选取目前大语言模型热点任务——代码生成，结合 StarCoder 模型微调实践介绍高效微调方法——LoRA。

2. LoRA 微调原理

论文：LoRA: Low-Rank Adaptation of Large Language Models

LoRA 基于大模型的内在低秩特性，增加旁路矩阵来模拟全参数微调，是目前最通用、效果最好的微调方法之一，而且能和其它参数高效微调方法有效结合。利用该方法对 175B GPT-3 微调，需要训练更新的参数量可以小到全量微调参数量的 0.01%。

图1. LoRA原理   

上图为 LoRA 的实现原理，其实现流程为：

1. 在原始预训练语言模型旁边增加一个旁路，做降维再升维的操作来模拟内在秩；

2. 用随机高斯分布初始化 A，用零矩阵初始化B，训练时固定预训练模型的参数，只训练矩阵 A 与矩阵 B ；

3. 训练完成后，将 B 矩阵与 A 矩阵相乘后合并预训练模型参数作为微调后的模型参数。

研究表明，Transformer 等神经网络包含许多执行矩阵乘法的密集层，这些权重通常具有满秩。预训练的语言模型具有较低的“本征维度（Instrinsic Dimension）”，并且可以和完整参数空间一样进行有效学习。受此启发，本文在微调过程中假设权重的更新也具有较低的“本征维度”。对于预训练模型的权重矩阵 ，通过低秩分解（Low-Rank Decomposition）来表示约束其更新。训练过程中 被固定不再进行梯度更新，只训练 和 ，其中 。训练结束后，更新参数为 。对于输入 ，模型的前向传播过程更新为 。

由于模型整体参数量不变，所以不会降低推理时的性能。作者通过实验比较了在内容理解任务、生成任务上的效果，相比全量微调参数量显著降低，性能上持平甚至超过，相比其他高效微调方法，增加参数量不会导致性能下降。需要注意的是此方法对低秩矩阵的秩数和目标模块的选择比较敏感，可能影响模型的性能和稳定性。使用LoRA微调有以下几个细节:

1. 对哪些参数进行微调：基于 Transformer 结构，LoRA 只对每层的 Self-Attention 的部分进行微调，有 四个映射层参数可以进行微调。需要注意不同模型参数名称不同，像 StarCoder 模型 Multi-query 结构的 attention 层对应的参数名称是 attn.c_attn, attn.c_proj

2. Rank(r) 的选取：Rank 的取值作者对比了 1-64，效果上 Rank 在 4-8 之间最好，再高并没有效果提升。不过论文的实验是面向下游单一监督任务的，因此在指令微调上根据指令分布的广度，Rank选择还是需要在 8 以上的取值进行测试。

3. alpha 参数选取：alpha 其实是个缩放参数，训练后权重 merge 时的比例为 alpha/r

4. 初始化：矩阵A是 Uniform 初始化，B 是零初始化，这样最初的 lora 权重为 0，所以 lora 参数是从头学起，并没有那么容易收敛。

3. LoRA 微调实践

本节以 StarCoder 微调为例，介绍使用 LoRA 微调的实践过程。

首先，StarCoder 是使用 86 种编程语言的 1 万亿个 token 训练，并在另外 35billion Python token 上微调出的模型，专注于解决编程问题，模型结构为："GPTBigCodeForCausalLM"，40层      decoder-only Transformer，Attention 层结构为 Multi-query，参数量约 15.5B。

3.1 环境配置