MTEB 1.36.40版本发布：新增越南语检索数据集与任务缓存优化

MTEB 1.36.40版本发布：新增越南语检索数据集与任务缓存优化

mteb MTEB: Massive Text Embedding Benchmark 项目地址: https://gitcode.com/gh_mirrors/mt/mteb

MTEB（Massive Text Embedding Benchmark）是一个用于评估文本嵌入模型性能的大规模基准测试项目。该项目通过提供多样化的任务和数据集，帮助研究人员和开发者全面评估不同文本嵌入模型在各种自然语言处理场景下的表现。

版本亮点

新增越南语检索数据集

本次1.36.40版本新增了两个越南语检索数据集，进一步扩展了MTEB对东南亚语言的支持：

1. GreenNodeTableMarkdownRetrieval：一个包含表格和Markdown格式数据的越南语检索数据集，适用于评估模型在结构化文档检索方面的能力。

2. ZacLegalTextRetrieval：专注于越南法律文本的检索任务，这对评估模型在法律领域的专业文本处理能力具有重要意义。

这两个数据集的加入使得MTEB能够更全面地评估嵌入模型在越南语这种资源相对较少的语言上的表现，特别是在专业领域文本处理方面的能力。

任务级缓存优化

本次版本对缓存机制进行了重要改进，引入了CacheWrapper per task功能：

• 现在可以为每个任务单独配置缓存策略，而不是使用全局统一的缓存设置
• 这种细粒度的缓存控制允许用户根据不同任务的特点优化性能
• 文档已相应更新，详细说明了如何为特定任务配置缓存

这一改进特别有利于处理大型数据集或计算密集型任务时，可以根据任务需求灵活平衡计算资源和性能。

基准测试文档更新

MTEB团队持续完善基准测试的文档工作：

• 在基准测试文档中添加了MIEB（Massive Intrinsic Embedding Benchmark）的引用信息
• 更新了任务表格，确保用户能够获取最新的任务和数据集信息

这些文档更新有助于研究人员更好地理解和使用MTEB提供的各种评估资源。

技术意义与应用价值

1. 多语言支持扩展：新增越南语数据集反映了MTEB对全球语言多样性的关注，为开发适用于东南亚市场的NLP应用提供了更好的评估工具。

2. 性能优化：任务级缓存机制使得大规模评估更加高效，研究人员可以针对不同任务特点进行更精细化的性能调优。

3. 专业领域覆盖：法律文本数据集的加入扩展了MTEB在垂直领域的评估能力，这对开发专业领域的文本处理应用具有重要意义。

MTEB 1.36.40版本的这些改进，进一步巩固了其作为文本嵌入评估标准工具的地位，为研究人员和开发者提供了更全面、更高效的模型评估环境。

mteb MTEB: Massive Text Embedding Benchmark 项目地址: https://gitcode.com/gh_mirrors/mt/mteb