BGE：智源研究院突破性中英文语义Embedding向量模型

最新推荐文章于 2025-09-25 23:54:53 发布
原创 最新推荐文章于 2025-09-25 23:54:53 发布 · 6.8k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding #chatgpt #人工智能 #语言模型 #计算机视觉 #深度学习

引言

智源研究院发布了一款开源的中英文语义向量模型BGE（BAAI General Embedding），在中英文语义检索精度与整体语义表征能力方面全面超越了OpenAI、Meta等同类模型。BGE模型的发布，标志着语义向量模型（Embedding Model）在搜索、推荐、数据挖掘等领域的应用迈入了一个新的阶段。

图片

模型性能

BGE模型在中文语义向量综合表征能力评测C-MTEB中表现卓越。在检索精度方面，BGE中文模型（BGE-zh）约为OpenAI Text Embedding 002的1.4倍。

图片

此外，BGE英文模型（BGE-en）在英文评测基准MTEB中同样展现了出色的语义表征能力，总体指标与检索能力两个核心维度均超越了此前开源的所有同类模型。

图片

图片

技术创新

BGE模型的卓越性能源于其高效的预训练和大规模文本对微调两方面要素。BGE采用了针对表征的预训练算法RetroMAE，利用无标签语料实现语言模型基座对语义表征任务的适配。同时，BGE针对中文、英文分别构建了多达120M、232M的样本对数据，帮助模型掌握实际场景中各种不同的语义匹配任务。

图片

图片

应用前景

此外，BGE模型在技术上还采取了非对称的指令添加方式，提升了语义向量在多任务场景下的通用能力。这一创新使得BGE模型在构建大语言模型应用（如阅读理解、开放域问答、知识型对话）时，展现了更加强大的功能。

效率与开源

值得一提的是，BGE模型在保持卓越性能的同时，并未增加模型规模与向量的维度，因而保持了相同的运行、存储效率。目前，BGE中英文模型均已开源，代码及权重均采用MIT协议，支持免费商用。

结论

总结来说，BGE模型的发布，不仅为中英文语义向量模型领域带来了一次重大突破，也为大模型生态基础设施建设提供了强有力的支持。其在语义检索能力上的领先优势，以及在多任务场景下的通用能力，都预示着BGE将在未来的大模型应用开发中发挥重要作用。

参考资料

Github

https://github.com/FlagOpen/FlagEmbedding

HuggingFace

https://huggingface.co/BAAI/

AI快站模型免费加速下载

https://aifasthub.com/models/BAAI

努力犯错
关注
深入RAG优化：BGE词嵌入全解析与Landmark Embedding新突破
春华秋实
09-05 1133
在大模型时代，它更是用于解决幻觉问题、知识时效问题、超长文本问题等各种大模型本身制约或不足的必要技术。然而，当前中文世界的高质量语义向量模型仍比较稀缺，且很少开源。为加快解决大模型的制约问题，近日，智源发布最强开源可商用中英文语义向量模型BGE（BAAI General Embedding），在中英文语义检索精度与整体语义表征能力均超越了社区所有同类模型，如OpenAI 的text embedding 002等。此外，BGE 保持了同等参数量级模型中的最小向量维度，使用成本更低。
【RAG知识库实践】向量化Embedding Model
sysu_lluozh
07-11 433
稠密稀疏混合向量技术结合了传统关键词检索与语义向量检索的优势，实现精度提升10%的效果。该技术演进分为三个阶段：1）传统倒排索引依赖TF-IDF/BM25算法实现关键词精确匹配；2）稠密向量检索通过Embedding实现语义理解但丢失关键词精度；3）混合检索将两种方法统一于HNSW索引架构。关键技术突破包括：采用index-value格式存储稀疏向量、分层检索优化（初期仅稠密向量计算）、相似度线性加权算法。该技术特别适用于包含专业术语、表格数据等场景，日常文本场景则建议使用纯稠密检索
文本向量模型BGE与BGE-M3
beingstrong的博客
04-01 2万+
文本向量模型BGE与BGE-M3原理介绍
「大模型学习」(8)embedding之bge讲解
qq_43044037的博客
06-09 1325
双编码器结构使用两个独立或共享权重的编码器分别对查询（Query）和文档（Document）进行编码，得到各自的向量表示，然后通过向量间的相似度（如余弦相似度、点积）来判断相关性。稀疏嵌入模型模仿传统信息检索（如 TF-IDF、BM25）的方法，将文档和查询编码为高维稀疏向量，通常每一维代表一个 token 或 n-gram 的重要性。文本 → 稀疏权重向量，如词项权重（类似 TF-IDF）向量中大部分为 0，仅部分 token 激活。
12天带你速通大模型基础应用（五）BGE-M3 微调与模型评测，大模型入门到精通，收藏这篇就足够了！
DEVELOPERAA的博客
09-22 1256
本节参考self-LLM项目中的BGE-M3 model，基于BGE-M3模型在代码检索任务上实践微调。本文从微调评测实践和微调方法两个模块来理解embedding模型微调的原理与实现。
使用Hugging Face进行BGE模型的操作：深入指南
srysduguho的博客
12-15 1279
BGE模型是由北京智源人工智能研究院开发的优秀开源嵌入模型，适用于多种NLP任务。它具备强大的性能和广泛的适用性，通过Hugging Face平台，我们可以便捷地访问和使用这些模型。通过本文，我们了解了如何使用Hugging Face平台来操作BGE模型。Hugging Face官方文档BAAI官方主页深入嵌入模型的概念指南。
llama_index微调BGE模型
qq_43814415的博客
05-01 3701
千问7b的模型差不多在性能和效果达到了一个中间值；使用llama_index微调向量模型是比较好操作，效果增长比较明显的；可以使用多种格式的数据进行微调；在文档切分中可以采用多种方法，调整块大小，还有重叠大小；在文档切分后可以进行去重，清洗等提高文档质量；可以优化大模型提示词，增加示例等；在构造完qa数据集后增加后处理环节，清洗质量不佳的问题。此次花了几个小时跑通了整个流程，对于微调的数据集结构、代码框架等有了更深的认识，后续将用更好、更多的数据进行微调。
【向量模型】 开源通用向量模型BGE （BAAI General Embedding）
weixin_42430947的博客
03-09 4895
BGE为各类信息检索及大语言模型检索增强应用而打造，本文从多个维度详细解析 BGE 的特点与应用
BGE（BAAI General Embedding）模型详解
ttyy1112的专栏
04-24 5284
BGE（BAAI General Embedding）是北京智源人工智能研究院（BAAI）推出的通用文本嵌入模型系列，旨在为各种自然语言处理任务提供高质量的向量表示。
bge-m3的 Max Embedding Chunk Length
02-28
</think>BGE-M3 是由北京智源人工智能研究院（BAAI）开发的**多语言嵌入模型**，其 "Max Embedding Chunk Length"（最大分块嵌入长度）是一个关键参数，用于控制模型处理长文本时的分块策略。以下是核心要点： --- ...
bge-reranker-v2-m3简介
alankuo的专栏
09-07 1250
通过多语言支持、轻量化设计和长文本优化，成为当前RAG（检索增强生成）场景的首选重排序工具。其与BGE-M3向量模型的深度协同，以及对昇腾、NVIDIA等硬件的广泛适配，使其在学术研究和工业落地中均表现出色。若需进一步优化，可通过微调（如GitHub Issue #858中的Deepspeed方案）或混合检索扩展实现定制化需求。
datawhale RAG技术全栈指南 202509 第3次作业
最新发布
weixin_44811994的博客
09-25 494
下载安装时勾选：✅（推荐）✅安装完成后重启电脑💡 需要 Windows 10/11 64位，且启用 WSL2（Docker Desktop 会自动配置）。
BGE向量和重排模型架构和训练细节
qq_43814415的博客
05-01 1万+
官方提供了挖掘难负样本的脚本，是从query召回的top2-100中随机抽取，正样本是top1。构造好数据集后，就可以继续做特定任务上的微调了。也可以使用llama_index微调，可以参考我的。
BGE家族新成员——下一代通用向量模型BGE-M3
Paper weekly
02-02 1万+
Highlight:BGE-M3支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（Multi-Lingual）BGE-M3最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（Multi-Granularity）BGE-M3同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景‍‍（Multi-Functionality）模型...
智源开源：BGE最强语义向量计算模型引领AI革命
Andy的博客
07-24 279
同时，通过计算文本中实体之间的关系，BGE模型还可以用于关系抽取任务，如人物关系、事件关系等的抽取。首先，它的全局特征提取方法能够更准确地表达文本的语义信息，提高了模型的准确性。其次，由于其高效的数据处理能力，BGE模型可以更快地计算文本的语义向量表示，大大提高了计算效率。最后，BGE模型具有很高的灵活性，可以轻松地与其他自然语言处理技术结合使用，为开发者提供了更多的选择和可能性。且喜跑步，尤钟马拉松，长途奔袭，考验耐力与毅力，每有所进，心甚喜之。吾以为，编程似布阵，算法如谋略，需精心筹谋，方可成就佳作。
第一次在公司调试BGE模型，谨以此篇记录学习过程
weixin_46101568的博客
08-30 2763
调试模型是一个复杂的过程，特别是看别人写好的代码，对应那种封装好的代码，站在公司的角度，是希望数据和模型都在本地。需要调整的地方很多。经过这么一个流程下来，也有很多的收获，学习了不少排错的方法，继续加油。
智源发布最强开源可商用中英文语义向量模型 BGE，超越同类模型，解决大模型制约问题
丨汀、的博客
10-13 2976
智源发布最强开源可商用中英文语义向量模型 BGE，超越同类模型，解决大模型制约问题
【GitHub开源项目实战】 FlagEmbedding 全面解析：BGE 向量模型、RAG 强化与多模态检索实战指南
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-18 2512
FlagEmbedding 是北京智源研究院主导推出的一套高性能语义嵌入与检索增强模型框架，聚焦于提升大语言模型在长文本、跨模态和知识强化等复杂任务中的表现。其 BGE 系列模型在 MTEB/C-MTEB 等评测中实现了对 OpenAI 嵌入模型的超越，同时通过轻量部署、跨语言优化、重排序机制等手段，显著降低了 LLM 与向量数据库结合的落地难度。本文将从架构组成、核心模型、技术亮点到实际部署与优化路径等多个维度系统解析 FlagEmbedding 项目的工程实战价值。
闻达 | M3E，开源中文 Embedding 模型新 SOTA
热门推荐
sinat_30045277的博客
06-14 2万+
M3E 是 Moka Massive Mixed Embedding 的缩写 Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 uniem ，评测 BenchMark 使用 MTEB-zh Massive，此模型通过千万级 (2200w+) 的中文句对数据集进行训练 Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索 Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量
中文技术文件选用哪个embedding模型向量化？
05-13
<think>嗯，用户想找一个适合中文技术文档的embedding模型来进行向量化。首先，我需要回忆一下相关的引用内容。引用1提到embedding模型的基本概念，把离散数据映射到连续向量空间，捕捉语义关系。引用2特别提到了合合信息的模型在MTEB中文榜单上表现很好，而MTEB是评估文本嵌入模型的重要基准。引用3则介绍了训练方法，比如滑动窗口预测词，结合词向量和段落向量。 用户的需求是中文技术文档，所以模型需要擅长处理专业术语和长文本结构。技术文档通常包含很多专业词汇和复杂的句子结构，所以模型需要有良好的语义捕捉能力和领域适应性。接下来，我应该考虑哪些模型适合这些特点。 首先，合合信息的模型在MTEB中文榜单上排名第一，这说明它在中文任务上表现优秀，可能是个不错的选择。然后是M3E模型，它专门针对中文优化，支持中英双语，适合技术文档中的双语术语。智源的Aquila-Embedding支持长文本，这对处理技术文档的长段落可能有帮助。还有BGE（智源）和腾讯的text2vec，这些模型在社区中比较活跃，可能有更好的支持和更新。 需要提醒用户注意模型选型的几个方面：领域适配性，如果文档涉及特别专业的领域，可能需要微调；文本长度，不同模型对输入长度有限制，长文档可能需要分块处理；多语言支持，如果文档中有英文术语，选择支持双语的模型更好；计算资源，大模型需要更多资源，可能需要权衡性能与成本。 最后，给出推荐的模型列表，并建议根据具体需求选择，比如是否需要处理长文本、是否需要多语言支持等。同时，建议结合RAG框架优化实际应用，比如分块处理长文档，结合元数据增强检索效果。这样用户就能根据实际情况做出合适的选择了。</think>### 适合中文技术文档的embedding模型选择建议 #### 1. 模型选型核心标准 - **语义理解深度**：需捕捉专业术语间逻辑关系，如$E=MC^2$与相对论的关联性 - **领域适配性**：对技术文档中公式、代码片段等特殊结构的处理能力 - **长文本建模**：技术文档常含复杂段落结构，需支持上下文感知 #### 2. 推荐模型列表 | 模型名称 | 核心优势 | 适用场景 | |---------------------------|--------------------------------------------------------------------------|------------------------------| | 合合信息文本向量模型[^2] | MTEB中文榜单第一，对技术术语有特殊优化 | 中文技术文档检索、语义匹配 | | M3E (Moka Massive Embedding) | 专门中文优化，支持中英双语，开源社区活跃 | 含代码片段的技术文档 | | Aquila-Embedding (智源) | 支持4096 tokens长文本，基于Transformer-XL架构 | 需长上下文建模的技术文档 | | BGE (智源) | 支持细粒度文本片段编码，提供API服务 | 技术文档段落级相似度计算 | | text2vec (腾讯) | 轻量级模型，支持增量训练 | 小规模技术文档库 | #### 3. 关键选型建议 1. **领域适配测试**：建议用技术文档样例测试`cosine相似度`表现 示例：比较$f(x)=\sum_{n=0}^\infty \frac{f^{(n)}(a)}{n!}(x-a)^n$与泰勒展开式描述的相似度 2. **文本长度处理**：对超过512 tokens的长文档，优先选择支持`滑动窗口机制`的模型[^3] 3. **多模态扩展**：含公式的文档建议选择支持LaTeX特殊编码的模型，如： ```python # 公式向量化示例 latex_embedding = model.encode("$\\nabla \\times \\mathbf{B} = \\mu_0 \\mathbf{J}$") ``` 4. **部署方案**： - 本地部署：推荐使用HuggingFace格式的M3E - 云服务：合合信息API支持批量处理[^2] - 混合架构：使用Aquila处理长文档，BGE处理短片段 #### 4. 性能优化建议 - 对技术术语实施`动态加权`：在预训练基础上增加领域术语强化 $$ W_{term} = \alpha \cdot W_{base} + (1-\alpha) \cdot W_{domain} $$ - 结合RAG框架时，建议使用`层次化分块策略`： ```markdown [文档结构] |- 章节标题 (128d向量) |- 技术段落 (768d向量) |- 公式/代码块 (特殊标记+256d向量) ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值