大模型微调 | 微调的主要方法，微调的关键步骤，微调实战（使用peft进行Fine Tuning）

最新推荐文章于 2025-04-29 11:30:00 发布

大模型面试

最新推荐文章于 2025-04-29 11:30:00 发布

阅读量1.2k

点赞数 21

文章标签：人工智能语言模型自然语言处理 AI大模型 LLM ai 大模型微调

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/146043532

版权

一、大模型微调简介

大模型（Large Language Models, LLMs）通常是指模型参数量极大的深度学习模型，能够理解和生成人类语言，在大量的文本数据上进行训练，可以执行广泛的任务。

我们首先会想为什么要进行大模型微调，这是因为大模型的训练成本极其高昂，同时大模型的知识库有其滞后性，以及希望在特定任务上的能力能够得到提升。为此，微调（Fine-tuning）成为了一种重要手段，其借鉴于计算机视觉模型的迁移学习，这是一个非常伟大的想法。总之，通过对预训练模型进行针对性调整，我们可以使其适应具体应用场景，那么更新大模型知识的方法除了微调这一种，还有一种叫RAG（增强检索生成），这就是后话了。

二、微调的主要方法

2.1 全量微调（Full Fine-tuning）

描述：对预训练模型的所有参数都进行更新
优点：灵活性高
缺点：需要较大的计算资源
使用场景：目标任务数据量大且计算资源充足（一般不使用）

2.2 指令微调（Instruction Tuning）

描述：用在特定任务任务下的明确指令和示例也对大模型进行微调，不更新模型知识
优点：专注于特定任务的微调，保留了模型的基础能力
缺点：限制较大，无法充分发挥模型能力

2.3 参数高效微调（Parameter-Efficient Fine-tuning，PEFT）

参数高效微调有以下几种，我们后续会主要实战lora微调，其他的将在后续的文章的里更新。

2.3.1 Adapter Tuning

描述：在模型的每一层插入小型的适配模块，仅训练这些模块的参数

2.3.2 Prompt Tuning

描述：通过优化提示（prompt）而非模型参数来引导模型输出

2.3.3 Prefix Tuning

描述：在模型输入前添加一个连续的且任务特定的向量序列称之为prefix，固定PLM的所有参数，只更新优化特定的任务的prefix

2.3.4 LoRA （Low-Rank Adaptation）

描述：通过低秩分解的方式更新模型权重，显著减少了需要训练的参数数量。

三、微调的关键步骤

3.1 数据准备

我们要收集与目标任务相关的标注数据。本篇文章将使用alpaca_gpt4_data_zh.json数据集进行微调。

3.2 模型选择

我们要选择适合任务需求的预训练模型，其中Qwen系列的模型在各个尺寸上的都比较齐全，为方便演示本次演示将使用qwen2.5-0.5b。

3.3 超参数设置

我们要确定学习率、批量大小、训练轮数等超参数，但这些都需要我们进行大量的实践，也就是说，什么样的超参数会更好，更多的是根据实验人员的经验来设置的。

3.4 训练与验证

在训练集上进行微调，此次训练会使用huggingface的库peft。

3.5 模型评估与部署

在测试集上全面评估模型性能，确保其满足实际应用需求。

四、微调实战

4.1 实验环境

NVIDIA RTX 3060 （12GB）显存
transformers==4.46.3
peft==0.14.0
datasets

4.2 安装依赖

pip install transformers  
pip install peft

4.3 准备数据集

from datasets import load_dataset
dataset = load_dataset('json', data_files='alpaca_gpt4_data_zh.json')
# dataset["train"].save_to_disk("alpaca_gpt4_data_zh")
dataset = dataset["train"].train_test_split(test_size=0.1)

4.4 加载预训练模型和分词器

# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(model_dir)
# 设置精度为float16
model = AutoModelForCausalLM.from_pretrained(model_dir, torch_dtype=torch.float16)
# 将模型参数迁移到GPU
model = model.cuda()
# 打印模型结构
print(model)

4.5 配置LoRA

from peft import LoraConfig, get_peft_model, set_peft_model_state_dict, get_peft_model_state_dict, TaskType
lora_r = 32
lora_alpha=16
target_modules=["q_proj", "k_proj", "v_proj"]
loraconfig = LoraConfig(
    r=lora_r,
    lora_alpha=16,
    target_modules=target_modules,
    task_type=TaskType.CAUSAL_LM
)
model = get_peft_model(model,loraconfig)

4.6 数据预处理

def generate_tokenize(one):
    MAX_LENGTH = 256
    input_ids,attention_mask,labels = [],[],[]
    instruction = tokenizer("\n".join(["Human: "+ one["instruction"],one["input"]]).strip() + "\n\nAssistant: ")
    response = tokenizer(one["output"] + tokenizer.eos_token)
    input_ids = instruction["input_ids"] + response["input_ids"]
    attention_mask = instruction["attention_mask"] + response["attention_mask"]
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
    if len(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }

tokenizer_dataset = dataset.map(generate_tokenize, remove_columns=dataset['train'].column_names)
train_data = tokenizer_dataset['train']
val_data = tokenizer_dataset['test']

4.7 微调模型

from transformers import TrainingArguments, Trainer, DataCollatorForSeq2Seq

args = TrainingArguments(
    output_dir="./lora_ft",
    per_device_train_batch_size=8,
    logging_steps=10,
    num_train_epochs=1,
    fp16=True,
)

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=train_data,
    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),
)

trainer.train()

4.8 加载原有模型并合并训练完得到的权重

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')

tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForCausalLM.from_pretrained(model_dir, torch_dtype=torch.float16)
model = model.cuda()

from peft import PeftModel
lora_model = PeftModel.from_pretrained(model, model_id="lora_ft/checkpoint-5492")

prompt = tokenizer("Human: {}\n{}".format("生成一个人们去野营旅行可能需要的十件物品的清单。", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(model.device)
response = tokenizer.decode(lora_model.generate(**prompt,max_length=256,do_sample=False)[0],skip_special_tokens=True)
print(response)

4.9 保存微调后的模型

output\_model\_dir = "merge\_model"  
mergemodel = lora\_model.merge\_and\_unload()  
mergemodel.save\_pretrained(output\_model\_dir)  
tokenizer.save\_pretrained(output\_model\_dir)

4.10 使用微调后的模型

from transformers import AutoModelForCausalLM, AutoTokenizer  
model\_dir = "merge\_model"  
  
tokenizer = AutoTokenizer.from\_pretrained(model\_dir)  
model = AutoModelForCausalLM.from\_pretrained(model\_dir)  
model = model.cuda()  
  
prompt = "生成一个人们去野营旅行可能需要的十件物品的清单。"  
  
messages = \[  
    {"role": "system", "content": "You are a helpful assistant."},  
    {"role": "user", "content": prompt}  
\]  
  
text = tokenizer.apply\_chat\_template(  
    messages,  
    tokenize\=False,  
    add\_generation\_prompt\=True  
)  
  
model\_inputs = tokenizer(\[text\], return\_tensors\="pt").to(model.device)  
  
generated\_ids = model.generate(  
    \*\*model\_inputs,  
    max\_new\_tokens\=512  
)  
  
generated\_ids = \[  
    output\_ids\[len(input\_ids):\] for input\_ids, output\_ids in zip(model\_inputs.input\_ids, generated\_ids)  
\]  
  
response = tokenizer.batch\_decode(generated\_ids, skip\_special\_tokens\=True)\[0\]  
print(response)