自然语言处理:第三十五章Embedding 测评榜单MTEB

已于 2024-06-24 15:18:44 修改
阅读量4.4k 收藏 36
点赞数 32
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 embedding 人工智能 机器学习 word2vec 语言模型 gpt-3
于 2024-06-10 11:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/victor_manches/article/details/139479475

文章链接: [2210.07316] MTEB: Massive Text Embedding Benchmark (arxiv.org)

项目地址: mteb:MTEB: Massive Text Embedding Benchmark - GitCode

github地址: FlagEmbedding/C_MTEB at master · FlagOpen/FlagEmbedding (github.com)

Hugging Face Leadboard: MTEB Leaderboard - a Hugging Face Space by mteb





写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!
写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!


NLP的应用中，有一个最关键的步骤就是将文字/其他多模态的模型转换成词嵌入/向量化，而对应的这个模型便称之为Embedding模型。那么在这么多embedding模型里，如何评价好坏呢？本文就会介绍，MTEB(Massive Text Embedding Benchmark)是目前评测文本向量很重要的一个参考，其榜单也是各大文本向量模型用来展示与其他向量模型强弱的一个竞技台。C-MTEB则是专门针对中文文本向量的评测基准。本文介绍了 Massive Text Embedding Benchmark (MTEB)，这是一个大规模的文本嵌入基准测试，旨在全面评估文本嵌入方法的性能。MTEB 覆盖了 8 种嵌入任务，包含 58 个数据集和 112 种语言。通过对 33 种模型的基准测试，MTEB 建立了迄今为止最全面的文本嵌入基准。研究发现，没有单一的文本嵌入方法能够在所有任务上都占据优势，这表明该领域尚未就通用文本嵌入方法达成共识，并且尚未将其扩展到足以在所有嵌入任务上提供最先进的结果。




MTEB

背景

随着人工智能和自然语言处理技术的飞速发展，文本嵌入技术已成为推动这些领域进步的重要工具。文本嵌入是将文本

最低0.47元/天 解锁文章

200万优质内容无限畅学
Embedding评估榜单MTEB
a_blade_of_grass的博客
10-30 3179
MTEB——海量文本嵌入基准测试（MassiveTextEmbeddingBenchmark）中文榜单（截至 2024/10/30）提供了一组人工编写和机器生成的摘要。目的是给机器生成的摘要进行打分，对每个机器生成的摘要嵌入，计算与所有人类摘要嵌入的距离。最接近的分数被保留并用作单个机器生成摘要的模型分数。
OpenAI Embedding效果表现不佳：那如何评估选择Embedding?
2401_85377976的博客
08-09 2004
对文本进行Embedding是大模型应用中必不可少的一步， 虽然大模型OpenAI是最好的， 但OpenAI的Embedding却不是。。浏览即可。OpenAI 最近发布了他们的新一代嵌入模型，称为*, 该embedding 模型被描述作为性能最高的embedding模型，它具有更高的多语言性能效果。关于这些模型的设计和训练方式，OpenAI(CloseAI)几乎没有透露任何信息。
MTEB - Embedding 模型排行榜
AI工程化、开源分享、文档翻译、代码笔记
05-03 1万+
中文榜单(2024-05-03)伊织 2024-05-03（五）
FlagEmbedding项目中的C-MTEB中文文本嵌入评估指南
最新发布
gitblog_00709的博客
06-04 329
FlagEmbedding项目中的C-MTEB中文文本嵌入评估指南 概述 在自然语言处理领域，文本嵌入（Text Embedding）技术扮演着至关重要的角色。FlagEmbedding项目提供了一个全面的中文文本嵌入评估框架C-MTEB（Chinese Massive Text Embedding Benchmark），它是目前最大的中文文本嵌入评估基准，类似于英文领域的MTEB。 C-MTEB...
文本向量评测MTEB和C-MTEB
beingstrong的博客
03-10 7492
文本向量评测MTEB和C-MTEB介绍，MTEB(Massive Text Embedding Benchmark)是目前评测文本向量很重要的一个参考，其榜单也是各大文本向量模型用来展示与其他向量模型强弱的一个竞技台。C-MTEB则是专门针对中文文本向量的评测基准。
Embedding模型部署及效果评测
python123456_的博客
06-13 5978
本文选用常见的几类中文友好的开源Embedding模型进行了简单效果评测，发现bge-m3和tao-8k的效果不错。有条件的读者可以将其部署在GPU上进行评测，应该会更快。另外，也可以使用更为全面的数据集进行评估，以得出更为权威的结论。在实际的生产环境中，还要进行压力测试，以评估文档向量化的性能。
合合信息Embedding模型获得MTEB中文榜单第一
热门推荐
陈橘又青的博客
04-28 2万+
最近几年，可以说大语言模型汇聚了所有的光彩，大语言模型的飞速发展更是吸引着社会各界的目光，这些模型的强大能力源自于Embedding技术的支撑，这种技术将语言转化为机器可理解的数值向量。随着大型语言模型的不断突破，Embedding模型的关键性日益凸显，成为推动人工智能领域向前发展的核心动力。在这个充满无限可能的领域中，每一次技术的飞跃都预示着新的变革和机遇。
浪潮信息“源”Embedding模型登顶MTEB榜单第一名
2401_82700030的博客
11-15 1639
近期，浪潮信息开源了Yuan系列Embedding模型（Yuan-Embedding-1.0），该模型在中文语义向量评测基准——C-MTEB（Chinese Massive Text Embedding Benchmark）的Retrieval任务中荣获第一名，为用户加速基于大模型的智能应用创新提供了有力支持。
自然语言处理: RAG优化之Embedding模型选型重要依据：mteb/leaderboard榜
victor_manches的博客
11-24 2096
近期RAG 应用不断涌现，它们的性能表现各具特色。尽管我们可以通过多个方面（例如查询改写、图像数据处理、分块策略、元数据管理、密集检索、稀疏检索、结果重排、排序融合、提示词优化以及上下文压缩等）逐步优化这些应用，但在选择 SOTA（State-of-the-Art）模型时，参考开源排行榜依然是必不可少的步骤。
智能时代 | 合合信息Embedding模型荣获C-MTEB榜单第一
m0_61933976的博客
04-23 1万+
智能时代 | 合合信息Embedding模型荣获C-MTEB榜单第一
如何评估 Embedding 模型
ZILLIZ
09-05 1375
01.简介在此前发布的文章（https://zilliz.com/learn/sparse-and-dense-embeddings）中，我们探析了当前稠密 Embedding 模型的架构，并介绍了 sentence-transformers 库的一些基础用法。虽然通过 sentence-transformers 可以使用众多预训练模型，但这些模型几乎都采用了与原始 SBERT 模型相同的架构——...
全网最全对比：主流Embedding模型实测（附代码+部署方案）
IT民工专栏
03-02 3644
BGE-M3、 text-embedding-3-large、GTE-Qwen2-7B等主流Embedding模型的对比
文本向量化模型新突破——acge_text_embedding勇夺C-MTEB榜首
白洞，白色的明天在等着我们
04-23 1万+
在人工智能的浪潮中，大型语言模型（LLM）无疑是最引人注目的潮头，在支撑这些大型语言模型应用落地方面，文本向量化模型（Embedding Model）的重要性也不言而喻。为大家带来acge_text_embedding模型解读以及应用思考： > 文本向量化acge模型是什么？原理是什么？ > acge模型能达到什么样的效果，取得了什么样的成绩？ > 文本向量化模型的突破与检索增强生成RAG的联系？
如何评估 Embedding 模型？
嘴巴吃糖了
09-15 1658
虽然通过 sentence-transformers 可以使用众多预训练模型，但这些模型几乎都采用了与原始 SBERT 模型相同的架构——在 transformer 编码器上进行汇总特征的训练，并使用掩码语言模型（Masked Language Modeling，MLM）。
向量检索：文档分段Chunking 和 MTEB榜单
weixin_46034279的博客
04-22 744
Chunking（分块）是自然语言处理中的关键技术，主要用于将长文本分割为逻辑连贯的片段chunks在检索任务中，分块可显著提升效率和准确性，例如在构建向量数据库时，分块能避免长文本的语义稀释问题。经过Chunking的文档会变成一系列片段（chunk）的集合。1. 语义完整性保障若不对文本进行分块处理，嵌入模型（embedding model）可能难以全面捕捉文档中句子的深层语义，进而导致生成的语义向量表征存在缺陷。例如：对于句子“我想去天安门”与“
端到端和非端到端的Embedding，以及embedding质量评估
凝眸伏笔的博客
05-07 6382
Embedding 的训练可以分为两种方法：端到端（End-to-End）和非端到端的训练。 端到端（嵌入层） 端到端的方法是将 Embedding 层作为神经网络的一部分，在进行 BP 更新每一层参数的时候同时更新 Embedding，这种方法的好处是让 Embedding 的训练成为一个有监督的方式，可以很好的与最终的目标产生联系，使得 Embedding 与最终目标处于同一意义空间。（端...
中文embedding 模型排行
02-23
### 中文 Embedding 模型最新排行榜 合合信息发布的Embedding模型在MTEB中文榜单中取得了第一名的成绩[^1]。此成绩表明该模型在多项评测指标上表现优异，特别是在处理中文语境下的任务时具有显著优势。 与当前C-MTEB榜单上前五名的其他开源模型对比，合合信息推出的acge模型不仅体积更小、所需计算资源较少，而且在聚类性能方面表现出色，能够有效支持多种应用场景中的通用分类建模工作以及提高长文档的信息提取准确性。 对于希望利用高质量预训练嵌入向量来加速自然语言处理项目开发的研究人员和技术团队而言，这些领先的中文embedding模型提供了强大的工具和支持。通过采用此类先进技术成果，可以实现更高的效率并降低实际部署的成本开销。 ```python import mteb # 获取最新的MTEB排行榜数据 leaderboard = mteb.get_leaderboard() # 打印出排名前十的中文embedding模型及其得分 for i, (model_name, score) in enumerate(leaderboard['zh'][:10], start=1): print(f"{i}. {model_name}: {score}") ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值