大模型微调技术基础（一）_lora微调bert-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_46866349/article/details/146189203

GPT与BERT的差异

GPT（Generative Pre-trained Transformer）和BERT（Bidirectional Encoder Representations from Transformers）分别是基于Transformer架构的Decoder和Encoder部分构建的模型，它们在结构、训练方式、应用场景等方面存在显著差异。

GPT（Decoder架构）

优点

生成能力：由于其自回归特性，GPT擅长生成连贯且语法正确的文本。它能够根据前面的内容预测下一个单词，非常适合用于文本生成任务，如文章创作、故事续写等。
上下文理解：通过逐字生成的方式，GPT可以逐步构建出复杂的句子结构和逻辑关系，对于需要深入理解上下文的任务非常有用。

缺点

单向性限制：GPT仅使用了Transformer的解码器部分，这意味着它只能利用到输入序列中左侧的信息（即前文），无法同时考虑到目标词两边的上下文信息，这可能限制其对某些任务的理解能力。
计算成本：自回归生成过程可能导致较高的计算开销，尤其是在生成较长文本时。

BERT（Encoder架构）

优点

双向上下文理解：BERT利用了Transformer的编码器部分，并通过Masked Language Model(MLM)训练方法，使模型能够同时考虑目标词两侧的上下文信息，这极大地增强了模型理解和处理语言的能力。
多功能性：BERT适用于广泛的自然语言处理任务，包括但不限于问答系统、情感分析、命名实体识别等，因为它能提供强大的特征表示。

缺点

非生成模型：与GPT不同，BERT不是一个生成式模型，它的主要用途是提取特征或进行分类等任务，而不适合直接用来生成新的文本内容。
预训练与微调流程复杂：虽然BERT的预训练阶段非常强大，但将其应用于特定任务时仍需经过微调步骤，这对用户来说可能增加了一定的技术门槛。

总结

适用场景：如果你的任务涉及到文本生成、对话模拟等需要创造性输出的情况，那么GPT可能是更好的选择；而对于那些要求深刻理解文本语义、进行精准信息抽取或分类的应用，BERT则提供了更强大的支持。
性能对比：两者各有千秋，具体哪个更好取决于你的具体需求和应用背景。例如，在需要深度理解文本含义的任务上，BERT可能会表现得更好；而在创造性和流畅度至关重要的场景下，GPT则更为合适。

LoRA低参数大模型与全参数小模型表现对比分析

假设有两个模型：
（1）直接全参数微调的 3.5B 模型；
（2）基于 7B 预训练模型，通过 LoRA 添加 0.5B 可训练参数（总参数 7B + 0.5B，但训练时仅更新 0.5B）。
当两者的训练数据集相同时，在哪些场景下（1）表现更好？哪些场景下（2）表现更好？

LoRA（Low-Rank Adaptation）技术详解

1. LoRA 核心原理

LoRA 是一种高效的大模型微调技术，核心思想是冻结预训练模型的大部分参数，仅通过添加少量低秩（Low-Rank）矩阵来调整模型行为。具体来说：

低秩分解：假设预训练模型的权重矩阵为 $\in \mathbb{R}^{d \times k} )$ ，LoRA 通过两个小矩阵 $\in \mathbb{R}^{d \times r} )$ 和 $\in \mathbb{R}^{r \times k} )$ 的乘积近似参数更新量 $\Delta W$ ，即 $\Delta W = AB$ ，其中 $\ll \min(d, k)$ （秩 $r$ 通常取 8~64）。
参数冻结：原始模型参数 $W$ 在训练时被冻结，仅更新A和 B 的参数。
前向传播：实际计算时，将原始权重与低秩更新量相加：
$\Delta W x = Wx + BAx$

通过这种方式，LoRA 将训练参数量从 $\times k$ 减少到 $\times r$ ，极大降低了计算和存储成本。

2. 应用场景

资源受限的微调：GPU 显存不足时，LoRA 可显著降低训练开销（例如用单卡微调 7B 模型）。
多任务适配：同一预训练模型通过不同 LoRA 适配器快速适配多个下游任务。
防止灾难性遗忘：冻结大部分参数可保留预训练模型的通用知识。
领域迁移：将预训练模型（如通用文本模型）适配到垂直领域（如医学、法律）。

3. 简单代码示例（PyTorch）

以下是一个在 线性层 上添加 LoRA 的简化实现：

import torch
import torch.nn as nn

class LinearWithLoRA(nn.Module):
    def __init__(self, original_layer, rank=8):
        super().__init__()
        self.original_layer = original_layer  # 原始线性层
        self.original_layer.requires_grad_(False)  # 冻结原始参数
        
        d, k = original_layer.weight.shape
        self.lora_A = nn.Parameter(torch.randn(d, rank))  # 低秩矩阵A
        self.lora_B = nn.Parameter(torch.zeros(rank, k))  # 低秩矩阵B

    def forward(self, x):
        # 原始前向传播 + LoRA增量
        original_output = self.original_layer(x)
        lora_output = x @ (self.lora_A @ self.lora_B).T  # BAx
        return original_output + lora_output

# 使用示例
original_linear = nn.Linear(768, 1024)  # 假设是预训练模型的某一层
lora_linear = LinearWithLoRA(original_linear, rank=8)

# 仅训练 LoRA 参数
optimizer = torch.optim.Adam(lora_linear.parameters(), lr=1e-3)

4. 总结

（1）全参数微调 3.5B 更优：
数据量极大且与预训练领域无关（如从通用文本迁移到蛋白质序列预测），全参数训练可彻底调整模型。
（2）LoRA 微调 7B 更优：
数据量小或任务与预训练领域相关（如对话生成），7B 模型的强大表征能力 + LoRA 的高效适配更具优势。

LoRA 通过低秩矩阵实现参数高效微调，是资源受限场景下的首选技术。其性能依赖于预训练模型的质量和任务相关性，而非单纯参数量大小。

关于LoRA问题的进一步讨论

“数据量极大”或“数据量小”均指微调阶段使用的数据集，而非预训练模型原本的数据量。以下是详细解释和补充：

1. 数据量如何影响模型微调的性能？

预训练模型（例如7B模型）：通常已经在海量通用数据（如互联网文本）上完成训练，参数中已编码了大量通用知识（例如语言结构、常识等）。
微调阶段：目标是让模型适配特定任务或领域（如医疗问答、法律合同分析），此时使用的数据集通常是规模较小的任务相关数据。
核心矛盾：
- 如果微调数据量小，直接全参数微调可能过拟合（模型复杂度过高，死记硬背小数据）；
- 如果微调数据量大，全参数微调可以充分调整模型参数，适配新任务。

2. 数据量如何影响模型选择？

情况1：微调数据量小（例如1万条样本）

LoRA微调（7B模型）的优势：
- 冻结大部分参数，保留预训练模型的通用能力，避免过拟合；
- 仅调整少量低秩参数，适合小数据适配。
全参数微调（3.5B模型）的劣势：
- 若3.5B模型是随机初始化（非预训练），小数据下无法有效训练；
- 若3.5B模型是预训练后全参数微调，可能因参数量相对数据量仍然过大，导致过拟合。

情况2：微调数据量大（例如100万条样本）

全参数微调（3.5B模型）的优势：
- 数据量足够支撑全参数更新，模型可以自由调整所有参数，充分学习任务特征；
- 参数量小于7B模型，计算效率更高。
LoRA微调（7B模型）的劣势：
- 仅更新少量低秩参数，可能无法充分挖掘大数据的潜力；
- 如果任务与预训练领域差异极大（如从自然语言处理迁移到基因序列预测），LoRA的受限调整可能成为瓶颈。

3. 具体场景示例

示例1：医疗问答任务（小数据）

数据：500条医生标注的问答对。
LoRA微调（7B模型）：
- 利用预训练的医学知识（例如GPT-3已在医学文献上隐式学习），通过LoRA适配问答格式，效果较好。
全参数微调（3.5B模型）：
- 若3.5B模型未预训练过医学知识，500条数据不足以让它学习领域知识，效果差。

示例2：代码生成任务（大数据）

数据：10万条<代码需求, Python代码>对。
全参数微调（3.5B模型）：
- 足够的数据让模型彻底学习代码逻辑和API使用规则，可能超越LoRA微调的7B模型。
LoRA微调（7B模型）：
- 如果预训练模型缺乏代码相关数据（例如原始预训练侧重文本），仅调整低秩参数可能无法充分适配代码生成。

4. 核心结论

数据量小 → 选LoRA微调的大模型：依靠预训练知识 + 避免过拟合。
数据量大 → 选全参数微调的小模型：牺牲部分预训练知识，换取对当前任务的充分适配。
例外情况：
- 如果任务与预训练领域高度相关（例如用GPT-3微调对话任务），即使数据量大，LoRA也可能表现更好（因为预训练知识直接有用）；
- 如果任务需要结构创新（如跨模态生成），全参数微调更灵活。

5. 代码验证（通过训练曲线直观理解）

以下模拟代码展示不同数据量下，LoRA与全参数微调的loss变化（假设任务为分类）：

import numpy as np
import matplotlib.pyplot as plt

# 模拟训练过程（伪代码）
def simulate_training(data_size):
    # LoRA微调：初始loss低（预训练知识），但后期优化慢
    loss_lora = [10/(i+1) + np.random.rand()*0.5 for i in range(10)]
    # 全参数微调：初始loss高（随机初始化），但后期下降快（大数据时）
    loss_full = [15/(i+1) + np.random.rand()*0.5 for i in range(10)]
    return loss_lora, loss_full

# 小数据场景（1万样本）
loss_lora_small, loss_full_small = simulate_training(data_size=10000)
# 大数据场景（100万样本）
loss_lora_large, loss_full_large = simulate_training(data_size=1000000)

# 绘制结果
plt.figure(figsize=(10,4))
plt.subplot(1,2,1)
plt.plot(loss_lora_small, label='LoRA (7B)')
plt.plot(loss_full_small, label='Full Fine-Tune (3.5B)')
plt.title("Small Data (10k samples)")
plt.legend()

plt.subplot(1,2,2)
plt.plot(loss_lora_large, label='LoRA (7B)')
plt.plot(loss_full_large, label='Full Fine-Tune (3.5B)')
plt.title("Large Data (1M samples)")
plt.legend()