4.3【必学】参数高效微调（PEFT）之王：LoRA技术原理解析与代码实现

4.3 【必学】参数高效微调（PEFT）之王：LoRA技术原理解析与代码实现

引言：当“全量微调”变得不可承受

在第三章，我们实践了经典的全参数微调（Full Fine-tuning）范式，它通过更新模型的所有参数，来将一个预训练模型适配到下游任务。这种方法效果卓著，但随着模型规模突破百亿、千亿甚至万亿级别，它的弊端也变得日益突出：

• 存储成本高昂：为每一个任务都保存一个完整的、几十上百GB的模型副本，是极其奢侈且不现实的。
• 训练门槛高：即使是微调，在巨大的模型上进行全参数的梯度计算和更新，也需要强大的、多卡的GPU服务器，普通开发者难以承受。

为了解决这个问题，**参数高效微调（Parameter-Efficient Fine-tuning, PEFT）**技术应运而生。其核心思想是：在微调时，冻结住庞大的预训练模型主体，只更新一小部分（通常<1%）新添加的、或者经过特殊设计的“适配器”参数。

在众多PEFT方法中，由微软研究员在2021年提出的LoRA（Low-Rank Adaptation of Large Language Models），凭借其惊人的高效性、简洁性和优异的性能，迅速脱颖而出，成为了当前最流行、应用最广泛的参数高效微调技术，堪称“PEFT之王”。</