RAG经验分享：如何选对Embedding模型？

MTEB简介

MTEB : Massive Text Embedding Benchmark

• github : https://github.com/embeddings-benchmark/mteb
• huggingface : https://huggingface.co/spaces/mteb/leaderboard
• paper : https://paperswithcode.com/paper/mteb-massive-text-embedding-benchmark

MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。MTEB 提供了一个公共排行榜，允许研究人员提交他们的结果并跟踪他们的进展。MTEB 还提供了一个简单的 API，允许研究人员轻松地将他们的模型与基准测试进行比较。

MTEB 包含以下 8 种任务类型：

• Bitext Mining ：寻找两种语言句子集之间的最佳匹配。输入是来自两种不同语言的两个句子集，对于来自第一个句子集的句子，找到在第二个子集中最匹配的句子。模型将句子编码成向量后用余弦相似度来寻找最相似的句子对。F1是主要的评估指标、Accuracy、precision、recall也一并计算了。
• Classification ：使用嵌入模型训练逻辑回归分类器。训练集和测试集通过给定模型编码，测试集向量被用来训练一个LR分类器(最多100次迭代)，然后使用测试集来打分，主要评估指标是accuracy with average precision，同时包括F1。
• Clustering ：将句子或段落分组为有意义的簇。给定句子集或段落集，将其分组为有意义的簇。在编码后的文档上训练一个 mini-batch k-means 模型(batch size为32, k是不同标签的个数)，然后使用v-meature为模型打分。
• Pair Classification ：为一对文本输入分配标签，通常是二元变量，表示重复或释义对。输入是一对带标签的文本，两个文本被编码后计算多种距离：cosine similarity, dot product, euclidean distance, manhattan distance。接着使用最佳阈值来计算accuracy, average precision, f1, precision, recall。基于余弦相似度的平均精度是主要指标。
• Reranking ：根据与查询的相关性对结果进行重新排序。输入是一个查询语句以及一个包含相关和不相关文本的列表。模型编码文本后比较与查询语句的余弦相似性。每个查询语句的分数都被计算并平均所有查询语句的分数。指标有平均 M R R @ k MRR@kMRR@k和MAP(主要指标)
• Retrieval ：找到相关文档。每个数据集包括一个语料集，查询语句及其与语料中的相关文档的映射。模型编码所有查询语句和语料文档之后计算余弦相似度，对每一个查询语句的结果排序后计算k的多个取值所对应的nDCG@k, MRR@k, MAP@k, precision@k , recall@k。使用BEIR相同的设置，nDCG@10是主要指标。
• Semantic Textual Similarity (STS) ：确定句子对的相似性。给定句子对计算它们的相似度，标签是连续得分(越大相似度越高)。模型编码句子后计算使用不同的距离指标计算它们的相似性，计算好的距离与标签相似度基准比较Pearson和Spearman相关性。主要指标是基于余弦相似度的Spearma
• Summarization ：评估机器生成的摘要。包括一个手写摘要和机器生成摘要数据集，目标是给机器生成摘要打分。模型编码所有摘要，然后对于每一个机器生成摘要向量，计算其与所有手写摘要向量的距离，将相似度最大的分数作为单个机器生成摘要的分数，接下来与基准比较计算Pearson和Spearman相关性。主要指标是基于余弦相似度的Spearman相关性。

MTEB榜单介绍

有两个榜单MTEB地址：

• 新版本：https://huggingface.co/spaces/mteb/leaderboard
• 旧版本：https://huggingface.co/spaces/mteb/leaderboard_legacy

下面我们以旧版本为例（其中有中文等语言的筛选），看下榜单怎么快速筛序我们想要的模型

我们可以在搜索框里面输入模型名字以及关键词进行快速筛选，同时可以结合模型类型以及模型大小进行过滤，下面一栏是可以筛切换语言种类和具体任务榜单，下面是中文模型的模型排行：

考虑因素

有同学也有反应MTEB榜单可能存在过拟合的现象，我们可以尽量选取前面的模型，结合使用或者下载量来选择比较靠谱的模型。

除了排行榜，模型的以下特性也需考虑：

• 模型大小： 影响计算资源需求和延迟。例如，较大的模型如 gte-Qwen2-7B-instruct（7 亿参数）可能更适合复杂任务，但计算成本更高。
• 嵌入维度： 维度较低的模型（如 384 维的 all-MiniLM-L6-v2）存储和比较更快，但可能牺牲语义捕捉能力。
• 语言支持： 多语言模型如 multilingal-e5-large 适合跨语言应用，而单语言模型可能在特定语言上表现更好。
• 预训练与微调： 预训练模型如 intfloat/e5-large-v2 适合通用场景，领域特定模型如 PubMedBERT（医学领域）则需微调以适应特定数据。
• 存储和内存等资源需求： 高维向量需要更多的存储空间，这可能会带来长期成本。例如，较高维度的模型如 text-embedding-ada-002 需要更多的存储资源。另外，较大的模型可能会占用更多内存，因此不适合内存有限的设备。
• 推理时间： 如果你的应用场景对响应时间有高要求，需要选择在推理时速度较快的模型。
• 模型在特定领域的表现： 通用 Embedding 模型在特定垂直领域（如医学、法律和金融等）可能不如专用模型有效。这些领域通常需要专门训练 Embedding 模型来捕捉特定的专业术语和语境。为特定业务需求优化的 Embedding 模型能够显著提升检索和生成的质量。例如，通过结合向量检索和重排序（reranking）技术，可以进一步优化结果。
• 处理长文本的能力：切分的文本片段后续需要通过 Embedding 模型进行向量化，所以必须考虑向量模型对输入文本块的 tokens 长度限制，超出这个限制则会导致模型对文本进行截断，从而丢失信息，影响下游任务的性能。不同的 Embedding 模型对文本块长度的支持能力不同。比如，BERT 及其变体通常支持最多 512 个tokens，处理长文本时则需要将文本分成更小的块，意味着需要更加精细化的分块策略。而 Jina AI 的 Embedding 模型和 bge-m3 模型则支持 8K 的 tokens 输入，适合处理长文本块。
• 模型的可扩展性与易用性 ：微调和更新的能力：对于一个不断迭代的RAG系统，选择一个能够轻松微调和持续更新的模型至关重要。比如Hugging Face的Transformers库、FlaggEmbedding提供了便捷的微调工具。模型是否易于集成进现有的RAG架构？文档是否清晰？社区支持如何？
• 成本与可用性： 开源模型（如 E5 系列）免费，专有模型（如 OpenAI 的 text-embedding-3-large）可能涉及 API 费用和隐私问题

比较流行的Embedding模型

下面是一些按下载量排行比较高的模型，可能实际数据有变动

Model	下载量	说明
BAAI/bge-m3	1964K	多语言，bge还有英文三个版本，下载均超过1M
BAAI/bge-large-zh-v1.5	1882K	中文
thenlper/gte-base	985K	英语
jinaai/jina-embeddings-v2-base-en	934K	英语
jinaai/jina-embeddings-v2-small-en	495K	英语
intfloat/multilingual-e5-large	816K	多语言
intfloat/e5-large-v2	714K	英语
maidalun1020/bce-embedding-base_v1	462K	中英双语跨语言能力强。
thenlper/gte-large	308K	英文
thenlper/gte-small	280K	英文
NeuML/pubmedbert-base-embeddings	184K	英语
pyannote/embedding	147K	需要注册
avsolatorio/GIST-large-Embedding-v0	112K	英语，基于 BAAI/bge-large-en-v1.5 微调
moka-ai/m3e-base	108K	中英，群友推荐
avsolatorio/GIST-Embedding-v0	100K	英文
Salesforce/SFR-Embedding-Mistral	91K	英文，基于Mistral训练
aspire/acge_text_embedding	51K	中文模型 （上升非常迅速）
thenlper/gte-large-zh	12K	中文，入榜原因：GTE英文版下载量超大，值得关注
jinaai/jina-embeddings-v2-base-zh	5K	中文，入榜原因：英文版下载量大，值得关注

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！