大语言模型-文本向量模型评估基准 MTEB

MTEB（Massive Text Embedding Benchmark）

涵盖112种语言的58个数据集，包含如下8种任务。

1、双语文本挖掘（Bitext Mining）

任务目标： 在双语语料库中识别语义等价的句子对。

任务描述： 输入是来自两种不同语言的两个句子集，对于来自第一个句子集的句子，找到在第二个子集中最匹配的句子。模型将句子编码成向量后用余弦相似度来寻找最相似的句子对。

评估指标： F1是主要的评估指标、Accuracy、precision、recall

2、文本分类（Classification）

任务目标： 模型能够对文本的类别进行准确标注。

任务描述： 基于提供的模型生成文本向量，并使用这些向量作为特征来训练分类器，对文本进行分类。
评估指标： 准确率（多分类）、精确率（二分类）

3、文本聚类（Clustering）

任务目标： 模型能够将文本分组至N个预先没有定义的类别中。
任务描述： 基于提供的模型生成文本向量，并利