大模型微调评估：指标选择与实践指南

1. 模型评估：大模型微调不可或缺的质检环节

在大模型微调过程中，评估环节往往被许多开发者忽视或简化处理。这就像厨师在烹饪过程中从不尝味道，建筑师从不检查建筑质量一样危险。模型评估实际上决定了我们能否科学地判断微调效果，并为后续优化提供明确方向。

LLaMA Factory作为一站式大模型微调框架，其评估模块的设计充分考虑了实际应用场景的需求。它不仅提供了全面的评估指标，更重要的是将这些指标与具体任务紧密结合，让开发者能够针对性地评估模型表现。下面我们就从技术原理到实践操作，全面解析如何用好这个"模型裁判"。

1.1 评估指标的双重视角：通用能力与专业表现

评估大模型需要从两个维度入手：通用语言能力和特定任务表现。这就像评估一个人，既要看他的基本素质（如语言表达能力、逻辑思维），也要看他的专业技能（如编程能力、设计水平）。

1.1.1 通用能力评估：语言模型的基本功

困惑度(PPL)是评估语言模型最核心的指标之一。它的计算基于模型对测试集中每个词的预测概率。具体来说，对于一段包含N个词的文本，困惑度计算公式为：

PPL = exp(-1/N * Σ log P(w_i|w_1,...,w_{i-1}))

其中P(w_i|w_1,...,w_{i-1})是模型在给定前文条件下预测当前词的概率。PPL值越低，说明模型对文本的预测越准确，语言建模能力越强。

在实际应用中，PPL值需要对比来看：

• 同一模型在不同数据集上的PPL对比，可以反映模型对数据领域的适应程度
• 不同模型在同一数据集上的PPL对比，可以反映模型能力的差异
• 微调前后PPL的变化，可以直观反映微调效果

注意：PPL对数据预处理非常敏感。不同的分词方式、大小写处理等都会显著影响PPL值。因此比较PPL时，必须确保数据处理方式一致。

1.1.2 特定任务评估：专业能力的量化

特定任务评估需要根据任务类型选择合适的指标。以下是常见任务类型的指标选择指南：

任务类型	核心指标	适用场景	注意事项
文本分类	Accuracy, F1	情感分析、主题分类等	类别不平衡时优先看F1
问答系统	EM, QA-F1	事实型问答、开放域问答	EM反映精确性，QA-F1反映完整性
文本摘要	ROUGE, BLEU	新闻摘要、会议纪要等	ROUGE侧重内容覆盖，BLEU侧重流畅性
文本生成	多样性、连贯性	创意写作、文案生成等	常需人工评估辅助

1.2 评估实践：从环境搭建到结果分析

1.2.1 环境配置的细节考量

在macOS上配置评估环境时，有几个关键点需要注意：

1. PyTorch版本选择 ：Apple Silicon芯片(M1/M2)用户应使用优化过的PyTorch版本：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu

2. 内存管理 ：评估大模型时容易遇到内存不足问题，可以通过以下方式缓解：

• 设置合理的 per_device_eval_batch_size (通常1-4)
• 使用 --fp16 或 --bf16 进行混合精度评估
• 启用梯度检查点： --gradient_checkpointing

3. 评估指标包安装 ：不同指标需要额外安装评估库：

# 安装常用评估指标库
pip install nltk rouge-score sacrebleu datasets evaluate

1.2.2 评估数据准备的规范

评估数据集的质量直接影响评估结果的可靠性。以下是准备评估数据时的最佳实践：

1. 数据代表性 ：评估集应覆盖实际应用中的各种场景和边缘情况
2. 数据划分 ：建议采用以下比例划分数据集：
   • 训练集：70-80%
   • 验证集：10-15%
   • 测试集：10-15%
3. 数据格式 ：LLaMA Factory支持的标准格式示例：

{
  "instruction": "判断文本情感倾向",
  "input": "产品很好用，但配送太慢了",
  "output": "mixed"  // 标准答案
}

提示：对于复杂任务，可以在output中包含详细评分标准，如：

"output": {
  "sentiment": "mixed",
  "confidence": 0.7,
  "aspects": {
    "product": "positive",
    "delivery": "ne