OpenCompass数据污染评估技术详解

OpenCompass数据污染评估技术详解

opencompass opencompass - OpenCompass是一个用于评估大型语言模型的工具，提供分布式评估、多样化评估范式和模块化设计。 项目地址: https://gitcode.com/gh_mirrors/op/opencompass

什么是数据污染

在大语言模型(LLM)评估过程中，数据污染是一个严重影响评估结果真实性的问题。它指的是本应用于测试任务的数据意外出现在了大语言模型的训练数据中，导致模型在这些测试任务上表现出不真实的性能表现。

这种现象就好比学生在考试前已经看到了考试题目和答案，那么考试分数自然不能真实反映学生的实际学习能力。同样，当模型在训练阶段"见过"测试数据，其评估结果就会失去客观性。

数据污染的危害

数据污染会导致：

1. 评估表现不真实，无法反映模型真实泛化能力
2. 不同模型间的比较失去公平性
3. 研究成果的可信度降低
4. 可能误导后续的研究方向

OpenCompass的解决方案

OpenCompass提供了两种创新的数据污染评估方法，帮助研究人员更准确地判断模型评估结果的可靠性。

方法一：基于自建同分布数据的污染评估

核心思想

这种方法借鉴了Skywork研究中的思路，通过构建三类数据集：

1. 训练集：原始训练数据
2. 测试集：原始测试数据
3. 参考集：新生成的、确定未被污染的数据

通过比较模型在这三类数据上的困惑度(perplexity)差异，来判断是否存在数据污染。

技术实现

1. 数据准备：使用GPT-4生成与原始数据集(如GSM8K)风格相似但全新的参考数据
2. 指标计算：分别计算模型在三类数据上的平均困惑度
3. 污染判断：
   • 若测试集困惑度显著低于参考集，可能测试集被污染
   • 若训练集困惑度显著低于测试集，可能模型过拟合训练数据

配置示例

from mmengine.config import read_base

with read_base():
    from .datasets.gsm8k_contamination.gsm8k_contamination_ppl_ecdd22 import gsm8k_datasets
    from .models.qwen.hf_qwen_7b import models as hf_qwen_7b_model
    from .models.yi.hf_yi_6b import models as hf_yi_6b_model

datasets = [*gsm8k_datasets]
models = [*hf_qwen_7b_model, *hf_yi_6b_model]

结果解读

典型输出结果会显示模型在三类数据上的困惑度。通过横向比较不同数据集的困惑度差异，可以判断污染程度。

方法二：基于经典预训练集的污染标注

核心思想

这种方法通过检索测试数据在公共数据源(如Common Crawl、Bing)中的出现情况，将测试数据标记为三类：

1. 干净的：完全未出现在公共数据源中
2. 题目被污染的：仅题目出现在公共数据源中
3. 题目和答案均被污染的：题目和答案都出现在公共数据源中

技术实现

1. 数据标注：使用检索工具标记每条测试数据的污染状态
2. 分项评估：分别计算模型在三类数据上的准确率或困惑度
3. 污染判断：
   • 三类数据性能差异越大，污染越严重
   • 性能排序通常为：干净的 < 题目被污染的 < 题目和答案均被污染的

配置示例

from mmengine.config import read_base

with read_base():
    from .datasets.ceval.ceval_clean_ppl import ceval_datasets
    from .models.yi.hf_yi_6b import models as hf_yi_6b_model
    from .models.qwen.hf_qwen_7b import models as hf_qwen_7b_model
    from .summarizers.contamination import ceval_summarizer as summarizer

datasets = [*ceval_datasets]
models = [*hf_yi_6b_model, *hf_qwen_7b_model]

结果解读

输出会显示模型在三类数据上的准确率差异。通过比较不同污染程度数据的性能差距，可以评估污染对模型表现的潜在影响。

方法对比与选择建议

| 评估方法 | 适用场景 | 优势 | 局限性 | |---------|---------|------|--------| | 同分布数据法 | 特定领域数据集(如GSM8K) | 结果直观，易于解释 | 需要生成参考数据，目前仅支持GSM8K | | 污染标注法 | 通用评估数据集(如C-Eval,MMLU) | 覆盖面广，可直接使用 | 依赖外部检索工具，标记可能有误差 |

选择建议：

• 如果评估特定领域(如数学问题)，优先考虑同分布数据法
• 如果评估通用能力，选择污染标注法更合适

最佳实践建议

1. 组合使用：两种方法可以互补，建议在重要评估中同时使用
2. 结果解读：关注相对差异而非绝对数值，差异越大污染影响越严重
3. 数据扩展：鼓励社区贡献更多数据集的污染评估方案
4. 结果报告：在论文中明确报告污染评估结果，提高研究透明度

总结

OpenCompass提供的数据污染评估工具为LLM研究提供了重要的质量控制手段。通过这两种方法，研究人员可以更准确地评估模型性能，避免被数据污染导致的不真实表现误导。随着社区不断贡献新的数据集支持，这些工具将帮助建立更可靠的大模型评估标准。

opencompass opencompass - OpenCompass是一个用于评估大型语言模型的工具，提供分布式评估、多样化评估范式和模块化设计。 项目地址: https://gitcode.com/gh_mirrors/op/opencompass