《AI大模型应知应会100篇》第6篇：预训练与微调：大模型的两阶段学习方式

最新推荐文章于 2025-04-10 14:04:40 发布

带娃的IT创业者

最新推荐文章于 2025-04-10 14:04:40 发布

阅读量655

点赞数 30

分类专栏： AI大模型应知应会短平快系列100篇文章标签：人工智能学习深度学习

本文链接：https://blog.youkuaiyun.com/yweng18/article/details/147048183

版权

AI大模型应知应会短平快系列100篇专栏收录该内容

15 篇文章

订阅专栏

第6篇：预训练与微调：大模型的两阶段学习方式

摘要

近年来，深度学习领域的一个重要范式转变是“预训练-微调”（Pretrain-Finetune）的学习方式。这种两阶段方法不仅显著提升了模型性能，还降低了特定任务对大量标注数据的需求。本文将深入解析预训练和微调的原理、优势及实践价值，帮助读者理解大模型如何从通用能力到专用能力的构建过程。

通过实际代码示例、案例分析以及技术细节解读，本文将带你全面了解这一范式的运作机制，并探讨其在迁移学习、领域适应和低资源场景中的应用。

在这里插入图片描述

核心概念与知识点

1. 预训练阶段详解

自监督学习任务设计

预训练的核心在于自监督学习（Self-Supervised Learning），即通过无标注的大规模语料库让模型学习通用的语言表示能力。常见的自监督任务包括：

掩码语言模型（Masked Language Model, MLM）：如BERT的随机遮挡单词预测。
下一句预测（Next Sentence Prediction, NSP）：如BERT的句子对关系建模。
因果语言模型（Causal Language Model, CLM）：如GPT的单向生成式建模。

以下是一个简单的MLM任务实现：

from transformers import BertTokenizer, BertForMaskedLM
import torch

# 加载BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')

# 输入句子，使用[MASK]占位符
text = "The capital of France is [MASK]."
inputs = tokenizer(text, return_tensors="pt")

# 模型预测被遮挡的单词
with torch.no_grad():
    outputs = model(**inputs)
    predictions = outputs.logits

masked_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_token_index].argmax(dim=-1)
predicted_word = tokenizer.decode(predicted_token_id)

print(f"Predicted word: {predicted_word}")

输入: The capital of France is [MASK].
输出: Paris

这段代码展示了BERT如何通过上下文推断出被遮挡的单词，体现了自监督学习的强大能力。

大规模语料库的构建与清洗

预训练需要海量的无标注数据，例如维基百科、Common Crawl等。这些数据通常包含噪声，因此需要经过清洗和去重处理。以BERT为例，其预训练数据由BooksCorpus（8亿词）和英文维基百科（25亿词）组成。

预训练的计算资源需求

预训练是一个高度计算密集型的任务。以GPT-3为例，其1750亿参数量的训练需要数千个GPU/TPU集群运行数周甚至数月。这也是为什么许多研究机构选择开源预训练模型，而非自行训练。

基础模型的通用能力建立

通过大规模预训练，模型可以学习到丰富的语言知识，例如语法、语义和上下文关系。这为后续的微调奠定了坚实的基础。

2. 微调阶段剖析

有监督微调的原理

微调是在预训练模型的基础上，使用少量标注数据对模型进行二次训练，使其适配特定任务。例如，将BERT微调为情感分类器：

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import Trainer, TrainingArguments
from datasets import load_dataset

# 加载IMDB情感分类数据集
dataset = load_dataset("imdb")
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def tokenize_function(examples):
    return tokenizer(examples['text'], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 定义模型和训练参数
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["test"],
)

# 开始微调
trainer.train()

解释: 这段代码将BERT微调为一个二分类情感分析模型，仅需少量标注数据即可完成任务。

指令微调(Instruction Tuning)的兴起

指令微调是一种新兴的微调方式，通过提供自然语言形式的指令（Instructions）来引导模型完成任务。例如，ChatGPT就是通过大规模指令微调优化了对话能力。

少量数据实现专业能力的技巧

微调的关键在于高质量的数据设计。例如，在医疗领域，可以通过专家标注的小样本数据快速提升模型的专业能力。

灾难性遗忘问题及其解决方案

灾难性遗忘（Catastrophic Forgetting）是指微调过程中模型可能丢失预训练学到的知识。解决方法包括：

冻结部分参数：仅更新部分层的权重。
多任务学习：同时训练多个相关任务。

3. 迁移学习的威力

领域适应的机制

迁移学习允许将通用模型应用于特定领域，例如金融、法律或医疗。通过领域内的微调，模型可以快速适应该领域的术语和逻辑。

跨语言、跨模态能力迁移

预训练模型的一个重要特性是跨语言和跨模态能力。例如，mBERT和XLM-R支持多种语言，而CLIP则结合了文本和图像的多模态信息。

迁移效率与参数冻结策略

为了提高迁移效率，可以选择冻结部分参数（如Embedding层），仅更新顶层的分类头。这在低资源设备上尤为重要。

4. 新兴微调技术

Parameter-Efficient Fine-Tuning (PEFT)

PEFT通过仅更新少量参数来降低微调成本。例如，LoRA（Low-Rank Adaptation）通过低秩分解实现高效微调。

LoRA与QLoRA技术原理

LoRA通过引入低秩矩阵来近似参数更新，从而减少计算开销。QLoRA进一步通过量化技术压缩模型。

from peft import LoraConfig, get_peft_model

# 定义LoRA配置
lora_config = LoraConfig(
    r=8,  # 低秩矩阵的秩
    lora_alpha=16,
    target_modules=["query", "value"],
    lora_dropout=0.1,
)

# 应用LoRA到模型
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
model = get_peft_model(model, lora_config)

解释: 这段代码展示了如何使用LoRA对BERT进行高效微调。

提示学习(Prompt Learning)作为轻量级适应方法

提示学习通过设计自然语言模板来引导模型完成任务，无需修改模型参数。例如：

prompt = """Classify the sentiment of the following text:
Text: I love this movie!
Sentiment:"""

response = openai.Completion.create(
    engine="text-davinci-003",
    prompt=prompt,
    max_tokens=5
)

print(response.choices[0].text.strip())