深入解析PEFT项目中的EVA：基于解释方差的LoRA适配器初始化方法

深入解析PEFT项目中的EVA：基于解释方差的LoRA适配器初始化方法

peft 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning. 项目地址: https://gitcode.com/gh_mirrors/pe/peft

引言

在大型预训练模型微调领域，低秩适配(LoRA)技术因其高效性而广受欢迎。然而传统LoRA方法存在两个主要问题：随机初始化导致收敛速度慢，以及固定秩分配导致性能次优。PEFT项目中的EVA(Explained Variance Adaptation)方法通过数据驱动的方式解决了这些问题。

EVA核心原理

EVA是一种创新的LoRA适配器初始化方法，其核心思想包含两个关键部分：

1. 数据驱动的初始化：通过对激活向量的小批量计算奇异值分解(SVD)，获取右奇异向量来初始化LoRA矩阵。

2. 自适应秩分配：根据各权重矩阵解释的方差量重新分配秩，使模型能够更有效地利用参数资源。

这种方法结合了权重驱动初始化和训练期间自适应秩学习的优点，避免了各自的缺点。

EVA技术优势

相比传统LoRA方法，EVA具有以下显著优势：

• 更快的收敛速度：数据驱动的初始化提供了更好的起点
• 更高的平均性能：自适应秩分配优化了参数利用率
• 广泛的适用性：适用于语言生成与理解、图像分类、强化学习等多种任务

快速上手指南

基础使用示例

下面展示如何使用EVA初始化一个因果语言模型的LoRA适配器：

import torch
from datasets import load_dataset
from torch.utils.data import DataLoader
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import EvaConfig, LoraConfig, get_peft_model, initialize_lora_eva_weights

# 配置参数
model_name = "meta-llama/Llama-3.1-8B"
max_seq_len = 512
rank = 16
alpha = 1
rho = 2.0
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"]
svd_batch_size = 4  # 可与微调时的批次大小不同

# 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token

# 准备数据集和数据加载器
dataset = load_dataset("Rowan/hellaswag")
dataset = dataset.map(
    lambda x: tokenizer(x["ctx"], padding="max_length", truncation=True, max_length=max_seq_len),
    batched=True,
    remove_columns=dataset["train"].column_names,
)
dataset.set_format(type="torch")

dataloader = DataLoader(
    dataset["train"],
    batch_size=svd_batch_size,
    collate_fn=lambda examples: {k: torch.stack([v[k] for v in examples], dim=0) for k in examples[0].keys()},
)

# 配置PEFT参数
eva_config = EvaConfig(rho=rho)
peft_config = LoraConfig(
    r=rank,
    lora_alpha=alpha,
    target_modules=target_modules,
    init_lora_weights="eva",
    eva_config=eva_config
)

# 将模型移至GPU并初始化EVA权重
model = model.cuda()
peft_model = get_peft_model(model, peft_config, low_cpu_mem_usage=True)
initialize_lora_eva_weights(peft_model, dataloader)

初始化完成后，即可按照标准的LoRA微调流程继续训练。

与Bitsandbytes的兼容性

EVA完全兼容bitsandbytes量化技术：

from transformers import BitsAndBytesConfig
from peft import prepare_model_for_kbit_training

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    quantization_config=BitsAndBytesConfig(load_in_4bit=True)
model = prepare_model_for_kbit_training(model)
peft_model = get_peft_model(model, peft_config)
initialize_lora_eva_weights(peft_model, dataloader)

高级用法

获取EVA状态字典

在某些情况下，您可能希望只获取EVA初始化后的状态字典而不加载适配器权重：

from peft import get_eva_state_dict

eva_state_dict = get_eva_state_dict(model, dataloader, peft_config)

之后可以将状态字典加载到PeftModel中：

initialize_lora_eva_weights(peft_model, eva_state_dict=eva_state_dict)

多GPU并行

EVA初始化可以跨多个GPU并行化。这需要将模型包装在torch.nn.DataParallel或torch.nn.DistributedDataParallel类中。

自定义EVA行为

EVA默认设计用于标准Transformer语言模型，但提供了三个参数用于自定义：

1. forward_fn：定义EVA初始化期间的前向传播计算方式
2. prepare_model_inputs_fn：准备各层SVD输入的预处理函数
3. prepare_layer_inputs_fn：定义如何为SVD准备层输入

forward_fn自定义

forward_fn接收模型和输入两个参数，默认返回model(**inputs)。

prepare_model_inputs_fn自定义

用于从原始模型输入中提取信息准备SVD输入。默认实现会基于注意力掩码和标签掩码获取索引子集，避免在SVD计算中包含填充标记。

prepare_layer_inputs_fn自定义

用于在将层输入传递给SVD算法前进行预处理。可以是可调用对象或字典（键为层名，值为可调用对象）。默认实现会处理元组/列表输入和多维输入。

技术实现细节

EVA的核心技术实现基于以下步骤：

1. 对每个目标模块，收集前向传播的激活向量
2. 计算这些激活向量的SVD分解
3. 使用右奇异向量初始化LoRA矩阵
4. 根据解释的方差量重新分配各模块的秩
5. 继续标准的LoRA微调流程

这种方法确保了初始化权重能够最大程度地解释数据中的方差，为后续微调提供了良好的起点。

应用场景

EVA特别适用于以下场景：

• 需要快速收敛的微调任务
• 计算资源有限的环境
• 需要跨多种任务保持良好平均性能的情况
• 处理大规模预训练模型的微调

总结

PEFT项目中的EVA方法通过数据驱动的初始化和自适应秩分配，显著提升了LoRA微调的效率和性能。其灵活的设计允许用户根据具体需求进行定制，同时保持与现有工具链的良好兼容性。对于需要在多种任务上微调大型预训练模型的研究人员和工程师来说，EVA提供了一个强大而高效的解决方案。

peft 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning. 项目地址: https://gitcode.com/gh_mirrors/pe/peft