MTEB 1.29.0版本发布：任务过滤机制优化与跨语言任务修复

MTEB 1.29.0版本发布：任务过滤机制优化与跨语言任务修复

mteb MTEB: Massive Text Embedding Benchmark 项目地址: https://gitcode.com/gh_mirrors/mt/mteb

MTEB（Massive Text Embedding Benchmark）是一个用于评估大规模文本嵌入模型的基准测试框架。该项目通过提供标准化的评估流程和多样化的任务集合，帮助研究人员和开发者全面了解不同嵌入模型在各种NLP任务上的表现。

核心更新内容

本次1.29.0版本主要针对任务过滤机制进行了重要优化，解决了跨语言任务在基准测试中被错误包含的问题。这一改进显著提升了基准测试的准确性和可靠性。

任务过滤机制升级

新版本引入了两个关键参数来增强任务过滤功能：

1. exclusive_language_filter：严格语言过滤参数，确保只包含指定语言的子集
2. hf_subset：直接指定HuggingFace数据集子集的过滤方式

以STS22任务为例，在旧版本中当指定英语("eng")时，会错误地包含多个跨语言子集（如de-en、es-en等）。而在1.29.0版本中，通过新的过滤机制，可以精确地只包含纯英语("en")子集。

跨语言任务修复

该版本修复了一个重要问题：在多个基准测试（如MTEB_ENG_CLASSIC）中，跨语言任务的分支被过度包含。具体表现为：

• 欧洲语言基准测试(MTEB europe, beta)
• 印度语言基准测试(MTEB indic, beta)

这些基准测试现在都正确地应用了语言过滤，确保了评估结果的准确性。

技术实现细节

新版本通过重构任务获取逻辑，提供了更精确的过滤方式。开发者现在可以通过多种方式获取特定语言的任务：

# 方式1：通过基准测试直接获取（已应用正确过滤）
task = [t for t in MTEB_ENG_CLASSIC.tasks if t.metadata.name == "STS22"][0]

# 方式2：通过严格语言过滤
task = mteb.get_task("STS22", languages=["eng"], exclusive_language_filter=True)

# 方式3：直接指定HuggingFace子集
task = mteb.get_task("STS22", hf_subsets=["en"])

影响与意义

这一改进对于以下场景尤为重要：

1. 单语言模型评估：确保评估结果真实反映模型在目标语言上的性能
2. 跨语言研究：使跨语言比较更加准确和可控
3. 基准测试一致性：提高不同研究结果之间的可比性

对于使用MTEB进行嵌入模型评估的研究人员和开发者来说，建议尽快升级到1.29.0版本，以获得更准确的评估结果。特别是在进行单语言模型评估时，新版本能够避免跨语言数据对评估结果的干扰。

总结

MTEB 1.29.0版本通过优化任务过滤机制，解决了跨语言任务在基准测试中的包含问题，提升了框架的准确性和可靠性。这一改进使得嵌入模型的评估更加精确，特别是对于专注于特定语言场景的研究和应用具有重要意义。

mteb MTEB: Massive Text Embedding Benchmark 项目地址: https://gitcode.com/gh_mirrors/mt/mteb