Embedding 模型的选择和微调

原创 已于 2024-05-20 09:12:29 修改 · 2.9k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding #大模型

于 2024-05-20 09:10:09 首次发布

目录

引言

向量模型在 RAG 系统中的作用

1. 对 query 和 私域知识 进行向量化表示

2. 动态更新知识库

3. 数据隐私和安全

有哪些性能不错的向量模型

OpenAI Embedding

JinaAI Embedding

BAAI/bge Embedding

模型评测

MTEB 排行榜：https://huggingface.co/spaces/mteb/leaderboard

如何 Finetune 向量模型

1. 安装 FlagEmbedding

2. 数据准备

3. Hard Negatives 挖掘（可选）

4. 训练

5. 模型合并（可选）

引言

万物皆可 Embedding。Embedding 用一个多维稠密向量来表示事物的多维特征，从而在一个连续的向量空间中刻画事物之间的相似性和差异性。这种表示方式不仅提高了计算效率，还增强了模型对数据内在结构和关系的理解能力。

向量模型在 RAG 系统中的作用

1. 对 query 和 私域知识 进行向量化表示

2. 动态更新知识库

3. 数据隐私和安全

Embedding 在 RAG 系统中扮演着至关重要的角色：如果 Embedding 模型在对私域知识进行向量化表示的过程中表现不佳，那么即使 RAG 系统在其他方面设计得当，最终效果也难以达到预期水平 。

为了让私域知识能在问答中被检索到，我们可以基于倒排和基于向量的方式构建知识库索引。倒排索引是一种基于关键词的精确性检索，但语义理解能力弱，而向量索引是基于文本向量的语义检索，可以捕捉文本的语义信息。一般情况下，我们会同时使用这两种检索方式。

有哪些性能不错的向量模型

OpenAI Embedding

JinaAI Embedding

https://huggingface.co/jinaai/jina-embeddings-v2-base-zh

BAAI/bge Embedding

https://huggingface.co/BAAI/bge-large-zh-v1.5

模型评测

面对这么多向量模型，我们如何衡量一种 Embedding 模型相对于其他模型的有效性呢？Hugging Face 推出了 MTEB（Massive Text Embedding Benchmark 大规模文本嵌入基准）测试框架，旨在评估文本 Embedding 模型在多种任务上的性能。它覆盖了 8 类任务和 58 个数据集，涉及 112 种语言，是目前最全面的文本嵌入评估基准之一。MTEB 提供了一个公开的排行榜，用于展示各个模型在不同任务上的表现。

MTEB 排行榜：https://huggingface.co/spaces/mteb/leaderboard

最低0.47元/天 解锁文章
Embedding models
数字人生
06-29 1905
嵌入模型是专门训练以生成向量嵌入的模型：这些是代表给定文本序列语义含义的长数组：生成的向量嵌入数组可以存储在数据库中，该数据库会进行比较以搜索语义相似的数据。
深入理解Embedding Models（嵌入模型）：从原理到实战（下）
博客虽小，世界尽在其中
05-12 3287
本文系统性地介绍了嵌入模型（Embedding Models）的基本原理、主要类型及其在各类实际场景中的广泛应用。从词向量如 Word2Vec、GloVe，到文本、图结构、跨模态嵌入模型，再到与大模型（LLM）融合的最新趋势，文章不仅解析了嵌入模型在构建语义理解、特征压缩、相似性计算等任务中的核心价值，还结合检索系统、推荐系统、知识图谱等工程实践，剖析了嵌入模型的训练方法、评估方式与落地策略。适合希望深入理解嵌入技术、构建语义驱动系统的开发者和研究者阅读。
Embedding模型微调：基于已有数据快速构建训练与评估数据集，大模型入门到精通，收藏这篇就足够了！
最新发布
Y525698136的博客
10-21 422
Embedding模型通过将文本映射为向量，在语义理解相关的NLP任务中扮演着基础性角色。然而，通用的预训练模型在特定领域往往因缺乏专业知识而表现不佳。为了解决这一问题，模型微调（Fine-tuning），它通过在领域数据上进一步训练，使模型适应特定语义特性。高质量的数据集是微调成功的核心。本文旨在探讨如何基于现有数据，高效构建用于Embedding模型微调的训练与评估数据集，以提升模型在特定场景下的表现。✨ 你好，我是筱可，欢迎来到「筱可 AI 研习社」！
FlagEmbedding目前最好的sentence编码工具
WitsMakeMen的专栏
11-25 2079
请注意，预训练的目标是重构文本，预训练后的模型无法直接用于相似度计算，需要进行微调之后才可以用于相似度计算。08/02/2023: 🎉 🎉 发布中英文向量模型BGE(BAAI General Embedding的缩写), 在MTEB和C-MTEB榜单上取得最好的性能。更新向量模型：发布bge-*-v1.5向量模型，缓解相似度分布问题，提升无指令情况下的检索能力（但检索任务仍建议使用指令）10/12/2023: 发布 LLM-Embedder, 专为大语言模型各种检索增强任务设计的英文向量模型。
LLM大模型：如何选择合适的 Embedding 模型？
AAI666666的博客
06-29 2788
检索增强生成（RAG）是生成式 AI （GenAI）中的一类应用，支持使用自己的数据来增强 LLM 模型（如 ChatGPT）的知识。RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。HuggingFace 的是一个一站式的文本 Embedding 模型榜！您可以了解每个模型的平均性能。
大模型应用落地：如何选择合适的 Embedding 模型？
m0_59164304的博客
07-03 1923
在生成式人工智能(GenAI)领域，检索增强生成(RAG)作为一种策略脱颖而出，它通过集成外部数据来扩充像 ChatGPT 这样的大型语言模型(LLM)的现有知识库。RAG 系统核心涉及三种关键的人工智能模型组件：嵌入(Embedding)模型负责将信息转化为数学向量，重排名(Reranker)模型则用于优化搜索结果，而强大的基础语言模型确保了丰富的语境理解和生成。本篇文章旨在指导您依据数据特性及目标领域，比如：金融专业，来挑选最合适的嵌入模型，从而最大化 RAG 系统的效能与准确性。
分享Embedding 模型微调的实现
python122_的博客
08-14 1431
1. 当前比较主流的Embedding开源模型有哪些？答：1. m3e(Moka Massive Mixed Embedding) 2. BAAI/bge-large-zh-v1.5。更多的开源模型评测榜单可见：\2. 模型的作用？答：通过词，句子或者上下文的向量生成，从而来实现更高效的语义检索，语言理解的相关任务。\3. 模型是如何捕获语义信息的？答：在训练的过程中，模型学习用来反映语义相似性的方式将向量分配给单词或序列。简言之，通过分析数据中的词共现模式来实现。
手工微调embedding模型，让RAG应用检索能力更强
python122_的博客
06-24 4692
在本文中，我们探讨了微调RAG管道的Embedding模型所涉及的步骤。我们使用开源的模型作为我们的基本Embedding模型，介绍了如何生成用于训练和评估的数据集，如何对其进行微调，以及如何评估基本模型和微调模型之间的性能差异。评估结果表明，微调Embedding模型的性能比基本模型提高了1-6%，与OpenAI的Embedding模型相比，微调模型的性能损失仅为4.85%。这种性能提升可能因数据集的质量和数量而异。
关于Embedding模型微调
charles666666的博客
04-14 910
通过以上步骤，可显著提升Embedding模型在特定任务中的表现。实际操作中，建议结合业务需求灵活调整策略。1.什么是Embedding模型微调？2.模型选择与初始化。
大模型的 Embedding 模型该如何进行微调？
python122_的博客
07-11 590
本文重点介绍了如何使用 Sentence Transformers 对开源的Embedding模型进行微调，并验证Embedding模型微调后的效果。Sentence Transformers 是一个宝库，它介绍了关于Embedding模型方方面面的内容，是了解、深入Embedding模型必不可少的工具。后续笔者将会介绍Embedding模型量化、俄罗斯套娃嵌入模型（Matryoshka Representation Learning, MRL）等相关方面的内容。
AI大模型从入门到精通，从文本到多模态，Embedding 模型选型指南，收藏这一篇就OK了！！
bugyinyin的博客
06-11 1174
通过将原始输入转化为固定维度的高维向量以捕捉语义信息，Embedding（嵌入）模型在构建 RAG、推荐系统，甚至自动驾驶模型训练中都发挥着极为关键的作用。近年来，OpenAI、Meta、Google、阿里、腾讯等科技巨头纷纷加大对 Embedding 模型研发的投入。以 OpenA I为例，其最新推出的 text-embedding-3-small 模型能够生成1536维向量，在保持高语义表达能力的同时，实现了更低的延迟和更小的模型体积，非常适合对性能要求较高的大规模语义检索场景。阿里和腾讯最近也推出了
深入理解RAG：什么是Embedding Model？Embedding Model的作用，RAG引擎中的工作流
老皮的博客
03-06 819
在学习嵌入模型之前，我们需要先了解什么是Embedding。简单来说，Embedding是一种将离散的非结构化数据（如文本中的单词、句子或文档）转换为连续向量的技术。在自然语言处理（NLP）领域，Embedding通常用于将文本映射为固定长度的实数向量，以便计算机能够更好地处理和理解这些数据。每个单词或句子都可以用一个包含其语义信息的向量来表示。Embedding常用于将文本数据映射为固定长度的实数向量，从而使计算机能够更好地处理和理解这些数据。每个单词或句子都可以用一个包含其语义信息的实数向量来表示。
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 2335
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
Embedding模型选型思路：决定知识库与RAG的准确率上限！
m0_59164520的博客
03-30 1805
参考地址：MTEB Leaderboard - a Hugging Face Space by mteb动态维度输出技术*跨模态统一空间构建*上下文理解增强*
Embedding 模型一览 选择 及使用
2301_81940605的博客
12-11 1007
MTEB 不仅给我们展示了 OpenAI、Cohere 和 Voyager 等流行嵌入的性能，还告诉我们一些开源模型也有相近的性能水平。但是，我们要注意，这些结果只是一个大概的概览，可能不能准确反映这些嵌入在我们的领域和上下文中的表现。所以，在最终选择之前，我们必须对我们的数据集进行深入的评估，强调定制评估方法的重要性。
embedding的微调
m0_57057282的博客
05-22 1357
1.​​​​​​​​目标：对文本进行准确分类衡量：分类准确率​​目标：将无标签文本分组为有意义类别衡量：聚类质量指标（如轮廓系数）​​目标：判断文本对的标签关系（如是否相似/相关）衡量：分类准确率、F1值​​目标：量化句子对的语义相似程度衡量：模型生成的向量余弦相似度与人工标注的相关性​​目标：根据查询从语料库中匹配相关文档衡量：以nDCG@10为核心指标（兼顾排序质量与相关性）​​目标。
embedding模型微调
01-05
### 如何对Embedding模型进行微调 对于大型语言模型中的嵌入（embedding）部分，微调可以通过多种方式实现。一种有效的方法是Prefix Tuning，该方法旨在减少大模型微调的成本并简化过程[^1]。 #### Prefix Tuning...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值