一文读懂 Embeddings 与 RAG 架构：分词、向量数据库到生产级系统设计

深入解析Embeddings与RAG架构设计
最新推荐文章于 2025-08-19 20:44:56 发布
原创 最新推荐文章于 2025-08-19 20:44:56 发布 · 1.1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#架构 #数据库 #人工智能

一、AI时代的语义理解革命

在人工智能技术迅猛发展的今天，智能系统正从简单的规则匹配迈向更复杂的语义理解。无论是智能客服回答企业文档问题，还是推荐系统精准捕捉用户偏好，亦或是语义搜索引擎实现概念级检索，其核心都离不开一项关键技术——嵌入（Embeddings）与检索增强生成（Retrieval-Augmented Generation, RAG）。

本文将深入探讨嵌入与RAG的完整技术栈，从基础理论到生产实践，涵盖分词策略、向量数据库选型、架构优化等核心环节，帮助读者构建从文本到语义空间的完整认知，并掌握可落地的RAG系统搭建方法。

二、嵌入与分词：从文本到语义向量的桥梁

2.1 嵌入：高维空间中的语义坐标

嵌入是将文本、图像等数据转换为高维数值向量的过程，其核心目标是在向量空间中捕获语义关联。例如，句子“The dog is running”与“A canine is jogging”的嵌入向量在空间中距离极近，而与“The car is broken”则相距较远，这体现了嵌入对语义相似性的捕捉能力。

技术实现
  • 词级模型

    ：如Word2Vec、GloVe，为每个词分配固定向量，但无法处理一词多义（如“bank”在“河岸”与“银行”中的差异）。

  • 上下文模型

    ：以BERT为代表，根据上下文动态生成词向量，解决一词多义问题。例如，“bank”在不同语境下会生成不同向量。

  • 句/文档级模型

    ：如Sentence-BERT、OpenAI嵌入模型，专为句子和段落设计，适合文档检索场景。例如，使用SentenceTransformer生成384维向量，通过余弦相似度计算文本间相似性。

核心价值

  • 突破关键词匹配局限：用户查询“What organelle produces energy?”与文档内容“Mitochondria are the powerhouse of the cell”无共享关键词，但嵌入搜索可识别概念关联。

  • 构建语义空间：在多维空间中，相似概念聚类、关系可计算（如“国王-男人+女人≈女王”），为智能系统提供语义推理基础。

2.2 分词：语义转换的前置引擎

分词是将文本拆解为模型可处理的最小单元的过程，其核心目标是确保文档索引与查询处理的一致性。

关键技术
  • 子词分词（Subword Tokenization）

    ：将生词拆解为已知子词（如“Mitochondria”拆分为“mit##och##ond##ria”），有效处理未登录词，控制词汇表规模。

  • 分词器一致性

    ：索引与查询需使用同一分词器，避免因分词规则差异导致的语义失配。例如，使用BERT分词器索引文档后，查询也必须使用相同分词器。

  • 分块策略

    ：长文档需按语义边界分块（如300-512 tokens/块，重叠50 tokens），避免关键信息被截断。例如，使用滑动窗口法生成带重叠的文本块。

实践示例
from transformers import AutoTokenizertokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")text = "Mitochondria are cellular powerhouses"tokens = tokenizer.tokenize(text)  # 输出: ['mit', '##och', '##ond', '##ria', 'are', 'cellular', 'power', '##houses']
常见陷阱
  • 分词器不一致

    ：索引用BERT分词器，查询用RoBERTa分词器，导致向量空间不兼容，检索效果大幅下降。

  • 忽略Token限制

    ：直接对长文档生成嵌入会导致静默截断，需先分块再处理。例如，使用chunk_document函数按最大Token数分割长文本。

三、向量数据库：RAG的语义存储基石

3.1 向量数据库选型指南

向量数据库是存储与检索嵌入向量的核心组件，其性能直接影响RAG系统的效率。以下是2024年主流向量数据库对比：

数据库

语言

核心优势

适用场景

部署方式
Qdrant

Rust

</
最低0.47元/天 解锁文章
AI Agent开发大全第二十七课-用BGE Large ZH 获取向量以及重排序构建生产环境可用的Restful API的全代码讲解
打造全国最全的AI Agent开发知识领域的博客
03-09 1445
构建个人/企业知识库问答时的embedding以及重排序用什么好？官网的例子太简单，无法用于含有go, .net, java, python混合的异质架构环境中，如何构建restful API形式的embedding和重排序通用服务呢？此文带给你网上没有的全代码和核心代码导读。
国产模型能否挑战 GPT-4？一文拆解 DeepSeek-V3 架构与实战应用
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-23 1812
DeepSeek-V3 是当前开源领域最接近 GPT-4 的中文大模型，采用稀疏激活的 MoE 架构，实现了“性能强大、成本可控”的理想平衡。它支持 128K 超长上下文、具备出色的中文理解与生成能力，并全面开源可商用，适合私有部署与行业落地。本文将系统解析 DeepSeek-V3 的架构原理、训练策略、部署方法与应用实战，涵盖从 ChatGPT 式助手到企业知识问答系统的完整路径，帮助你用好这个真正能“落地”的强大国产大模型。
【AI学习】二、 嵌入模型(Embedding Models)和 向量数据库（Vector Databases）
qq_21202769的博客
06-09 2070
嵌入模型是将高维数据（如文本、图像、音频等）映射为低维稠密向量（嵌入向量）的算法，用于捕捉数据的语义或特征关联，便于计算机理解和处理。向量数据库是专门存储和检索高维向量数据的数据库，支持基于向量相似度（如余弦距离、欧氏距离）的快速查询，广泛应用于推荐系统、语义搜索、图像识别等场景。
【AI大模型】RAG 与 Embedding
lmj3732018的博客
06-06 9971
从而在几乎不影响最终效果的情况下降低向量检索与相似度计算的复杂度。text-embedding-ada-002 只支持1536维计算。
RAG与Embedding：现代NLP的核心技术
Pinkgranite86的博客
12-09 2072
RAG与Embedding
开发RAG应用，你必须知道的7个Embedding模型
Android 开发架构
11-21 7127
在（NLP）领域，Embedding模型是将文本数据转化为数值向量的核心技术，从而让计算机能够便捷地衡量文本间的语义关联，这种表示法已成为多种基础NLP任务的核心，如文本相似度判定、语义搜索、信息检索、文本重新排序、聚类以及作为下游任务的特征输入。最近，随着大语言模型的升温，Embedding技术在检索增强生成（RAG）应用中的文档检索环节中也得到了广泛应用，开源社区也涌现出了众多高效的Embedding模型，选择合适的文本Embedding模型对于检索阶段的效果至关重要，本文将为你梳理2023年AI和。
rag-embeddings基础流程
dc爱傲雪和技术
05-07 1433
LLM 的知识不是实时的LLM 可能不知道你私有的领域/业务知识。
一文带你搞懂ai的核心组件- 向量数据库
zy11517的博客
02-06 1572
向量数据库因其高效存储、索引和搜索高维数据点（即向量）的独特能力，在多个领域逐渐凸显其重要性。这些数据库专门设计来处理以多维空间中的向量形式表示的数据条目。向量可以涵盖各种信息，包括数值特征、文本或图像的嵌入，甚至是分子结构等复杂数据。为了更直观地理解向量数据库，下面用一个2D网格来形象化其工作方式。在这个网格中，一个轴代表动物的颜色（棕色、黑色、白色），另一个轴代表动物的大小（小、中、大）在这个表示中：图像A：棕色，中等大小图像B：黑色，小尺寸图像C：白色，大尺寸图像E：黑色，大尺寸。
一文详解大语言模型的流行架构与训练技术
python122_的博客
08-10 1001
这篇博客全面介绍了大型语言模型（LLMs）的构建流程，从流行架构的选择到实际建模的每个关键步骤。文章首先探讨了LLMs的模型架构，然后详细阐述了数据准备过程，包括数据的收集、清洗和去重，接着是关于如何进行有效标记化的讨论。在模型构建方面，博客详细解释了采用自监督学习方法的预训练过程，以及对模型进行指令微调和对齐的重要性。每个环节都被细致地讲解，使读者能够深入理解LLMs的构建和优化过程。这篇博客为那些对LLMs工作方式感兴趣的读者提供了一个指导。
词向量技术原理及应用详解（四）——词向量训练
weixin_40547993的博客
03-24 3102
前文理论介绍完毕，接下来进入实战环节。实践中向量化应用的场景常有不同，但向量文本化的训练和使用方式大同小异。在这里我将采用两种方法：gensim库以及tensorflow来完成词向量实战训练。 一、word2vec之gensim工具包实现 1、gensim工具包中详细参数： 在gensim中，word2vec相关的API都在包gensim.models.word2vec中。和算 法有关的参...
向量数据库：高效检索与大语言模型的融合
m0_63171455的博客
07-28 1861
在数学中，向量是一个有序的数值序列。例如，二维平面中的一个点的位置可以用两个实数的向量（x, y）来表示。同理，三维空间中的点可以用(x, y, z)表示。而在计算机科学中，这些点可以表示为事务的特征或属性，向量数据库就是用来存储这些点的特征或属性的。在本文中，我们探讨了向量数据库及其在解决大语言模型（LLM）应用中的局限性的重要性。我们了解了向量数据库的基本概念、数据存储方式以及如何进行向量数据的检索， 同时介绍了一些常见的ANN算法，如Flat、k-means、LSH等，以及它们在向量数据库中的应用。
RAG组件：文本Chunk生成
CITY_OF_MO_GY的博客
03-28 822
在选择切块工具时，应根据具体的文档类型、语言特点和应用场景进行选择。对于大多数场景，LangChain 和 Hugging Face 的工具链是非常不错的选择。同时，在切块过程中，务必注意语义完整性、块大小控制和重叠窗口的设置，以确保最终的知识库能够高效地支持检索和生成任务。
手把手教你RAG：分词器、文档预处理、向量数据库搭建与问答应用开发
最新发布
2501_92532948的博客
08-19 1472
RAG（检索增强生成）技术通过结合检索和生成两阶段提升AI回答质量。首先从知识库检索相关内容，再结合问题生成回答，避免模型幻觉并提高准确性。技术优势包括动态知识更新、回答可验证和场景灵活适配。实现过程分为：1）用嵌入模型（如BERT）将问题向量化并匹配相关文档；2）将检索内容输入生成模型（如GPT）生成最终回答。文章还提供了Python代码示例，展示如何构建向量数据库、加载嵌入模型（如Chuxin-Embedding）并实现文档检索功能，适用于知识问答、客服等场景。
高级RAG(一)：Embedding模型的选择
热门推荐
weixin_42608414的博客
12-21 1万+
今天我们测试了openai,gemini,baai它们的embedding模型，我们发现baai的embedding模型表现最为优秀，它检索出了所有的相关文档，而gemini的embedding模型表现最差，它机会都没有检索出任何相关文档，我并不清楚这是什么原因造成的。
手工微调embedding模型RAG检索能力
asd8705的专栏
01-14 3537
本文是一篇关于如何微调embedding的文章，原作者是Wenqi Glantz。 主要内容： 微调big-large-en开源embedding模型； 具体实现代码细节； 评测最终的提升效果。
万字长文：RAG百科全书
程序员鑫港的博客
05-24 1113
总而言之，这些指标提供了 RAG 系统检索性能的综合视图，可以使用诸如 Ragas 或 TruLens 的评估 RAG 管道的库来实现，并提供有关您的 RAG 管道的性能的详细见解，重点关注响应用户查询时检索和生成内容的上下文和事实一致性。这种方法补充了更广泛的系统级端到端评估（在“端到端评估”中详细说明），可以让您更深入地了解 RAG 系统在现实世界场景中的性能，在这些场景中，上下文和事实准确的细化至关重要。此外，周围“干草堆”的复杂性也可以进行修改，以测试 LLM 在不同程度的上下文难度下的性能。
自建知识库，向量数据库 （九）之 量化前奏分词服务——仙盟创梦IDE
cybersnow精通 28 门计算机语言，凭借其超凡的技术能力，成功开发过上万个应用，广泛涉及政府、商业、个人等众多领域，甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发，在软件架构设计方面更是独树一帜，自创了跨平台软件
08-19 799
在数字化浪潮汹涌澎湃的当下，数据的精准处理成为解锁各类应用潜力的关键密钥。“未来之窗” 所推出的自建分词服务，犹如一座屹立于数据处理领域的灯塔，为众多开发者与企业照亮了前行之路。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[4]-高阶自定义模块
丨汀、的博客
06-17 510
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[4]-高阶自定义模块
rag总是无法再向量数据库中检索到准确信息则呢么吧
06-09
<think>首先，用户的问题是：”我想解决向量数据库中RAG检索不准确的问题请问如何提高RAG在向量数据库中的检索准确性”根据系统级指令，我需要使用中文回答，并在回答中自然地添加引用标识。回答结构应该清晰，帮助用户逐步解决问题，并保证真实可靠。用户提供了几个引用，我应该参考这些引用来构建我的回答。引用的内容是：-[^1]:讨论LLMvs.LLM+RAG，向量数据库是RAG的数据来源。-[^2]:向量数据库+上下文检索提升RAG的精准性。-[^3]:向量数据库（如Milvus）在RAG中的作用：存储和检索向量化知识。-[^4]:向量数据库在RAG场景中的应用。用户的问题核心是提高RAG在向量数据库中的检索准确性。RAG(Retrieval-AugmentedGeneration)模型结合了检索和生成，其中检索部分通常依赖向量数据库来快速找到相关文档或上下文。现在，回忆一下提高检索准确性的常见方法：1.**改进数据预处理**：包括更好的向量化方法（如更先进的Embedding模型），数据清洗，分块策略优化。2.**向量数据库优化**：选择高性能的向量数据库（如Milvus、Pinecone），调整索引参数，索引策略（如HNSW,IVF）。3.**后处理技术**：如重排序（re-ranking），使用更精确的模型对检索结果排序。4.**上下文增强**：在检索时包括更多上下文信息，使用多模态或跨模态检索。5.**混合搜索**：结合关键词检索和向量检索，以捕获不同方面的相关性。6.**系统集成优化**：确保向量数据库与LLM和其他组件的无缝集成。从引用中提取相关点：-[^2]提到“上下文检索”可以提高数据的准确性和相关性。-[^3]介绍了使用Llama-index和Milvus向量数据库实现存储和初筛。-[^4]强调向量数据库在RAG中的应用。用户提到“检索不准确”，可能的原因包括：向量化质量低、检索参数不优、数据噪声等。结构化我的回答：1.**介绍问题背景**：简要解释RAG和向量数据库在检索中的角色。2.**分析可能原因**：讨论为什么检索不准确。3.**提供解决方案**：列出具体方法提高准确性，逐步讲解。4.**参考引用**：在适当的句子末尾自然地添加引用标识。5.**生成相关问题**：根据系统指令，在回答结尾生成相关问题。使用系统指令要求的格式：-行内数学表达式用$...$，例如如果涉及向量计算。-独立公式用$$...$$。-LaTeX语法正确。回答语言：中文。最后，生成相关问题：-类似示例，如“如何进行快速排序的性能分析？”，这里可以是“如何优化向量数据库的索引结构？”等。大纲回答结构：1.引言：概述提高RAG检索准确性的重要性。2.问题分析：简述检索不准确的可能原因。3.解决方案：a.改进数据预处理（如更好的Embedding）。b.优化向量数据库设置（索引、参数）。c.使用上下文检索和后处理技术（如re-ranking）。d.考虑混合方法。4.结尾：强调测试和迭代。5.生成相关问题。添加引用自然：例如，“上下文检索可以显著提升相关性[^2]。”</think> ### 提高 RAG 在向量数据库中检索准确性的方法 向量数据库（如 Milvus、Pinecone）在 RAG（检索增强生成）系统中扮演关键角色：它通过向量相似性检索，为大型语言模型（LLM）提供相关上下文知识[^1]。然而，检索不准确的问题常见于向量表示不精确、检索参数配置不当或上下文缺失等场景[^3]。例如，用户查询与向量嵌入相似度低时，检索结果可能无法覆盖正确知识，导致生成内容偏差。下面我将逐步分析问题原因并提出切实可行的解决方案，基于实践经验（如结合上下文检索技术）和引用内容，确保方法真实可靠。整个过程需要迭代测试：从数据预处理到检索优化，再到系统集成。 #### 步骤 1: 诊断检索不准确的可能原因 在优化前，先识别根本问题（例如，使用性能分析工具监控检索结果）： - **向量表示质量差**：Embedding 模型不匹配（如使用通用模型而非领域特化模型），导致查询向量与知识库向量的 $ \text{相似度} $ 计算不准确，即 $ \text{cos}(\theta) $ 值偏低[^1]。 - **数据预处理不足**：文档分块过大或过小，忽略关键上下文（如段落边界），增加噪声干扰[^2]。 - **向量数据库配置不当**：索引策略（如 HNSW 或 IVF）参数不合理（例如 $ \text{efConstruction} $ 过高），或检索距离度量（如余弦相似性）未优化[^3]。 - **上下文缺失**：检索过程未融入额外元信息（如标题或时间戳），导致简单向量比较无法捕获语义关联[^4]。 - **其他因素**：数据集规模不足、向量维度高引入“维度诅咒”（$ n \gg d $ 时相关性下降）或混合检索缺乏[^1][^4]。 通过日志分析，可量化问题：例如，计算召回率（recall）和精确率（precision）指标，定位瓶颈。 #### 步骤 2: 具体优化解决方案 以下是提高检索准确性的核心方法，参考引用中提到的上下文检索和向量数据库优化技术[^2][^3][^4]。优先从数据预处理入手，再到检索增强和系统级调整。 1. **优化数据预处理（降低噪声，提升向量质量）** - **使用领域特化的 Embedding 模型**：通用模型如 OpenAI Embedding 可能不适于特定领域知识库，替换为微调模型（如域内文本训练的 BERT）或开源替代（如 Sentence Transformers）。这能提高 $ \text{embedding}(Q) $ 与知识向量的对齐度[^1]。实践建议： - 在预训练时注入领域语料，减少向量分布偏差。 - 示例代码（使用 Hugging Face）： ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2') # 替换为 domain-adapted 模型 embeddings = model.encode(["文档文本块"]) # 存储到向量数据库如 Milvus[^3] ``` - **改进分块策略**：避免一刀切分块，使用动态窗口或重叠块（overlap chunks）。结合语义分割（如 nltk 或 spaCy），确保块包含完整上下文。例如： - 块大小：150-500 tokens（太小则语义不完整，太大则噪声增），并设置 10-20% 重叠减少边界信息丢失[^2][^4]。 - **数据清洗和增强**：移除重复或不相关信息，添加元数据标签（如领域、关键词）。这类似“上下文检索”理念，融入结构化信息以提升相关性[^2]。 2. **优化向量数据库设置（提升检索效率和精准度）** - **选择高性能索引和参数**：向量数据库的核心是可调索引（如 Milvus 支持 HNSW、IVF_FLAT）。建议： - 索引类型：对高精度场景使用 HNSW（$ \text{efSearch} $ 调高至 100-200 提升召回率），但注意计算开销；对大规模数据用 IVF 减少搜索空间[^3]。 - 距离度量：针对文本语义，优先选择余弦相似性（$ \text{cosine} $）而非欧式距离，因前者忽略向量大小，更易对齐语义[^1][^3]。 - **引入混合搜索**：结合关键词检索（如 BM25）与向量检索（hybrid search）。例如，用 Llama-index 或 Elasticsearch 集成，先关键词筛选相关文档子集，再做向量相似性计算，能捕获术语级匹配，弥补单纯向量搜索的遗漏[^4]。参考公式： $$ \text{相关度} = \alpha \times \text{向量分} + \beta \times \text{关键词分} $$ 其中 $ \alpha $ 和 $ \beta $ 权重通过验证集调整。 - **扩展上下文检索**：在检索阶段，增加元数据或外部上下文（如引用[^2]所述）。例如： - 在向量数据库中，存储带元字段（如作者、主题），查询时过滤，如 Milvus 的过滤搜索功能[^3]。 - 使用多模态检索：如果知识库包括图像或结构化数据，结合跨模态 Embedding。 3. **后处理与重排序（二次精炼检索结果）** - **Re-ranking 技术**：检索出 top-K 结果后（如 K=50），应用高精度模型（如 cross-encoder）进行重排序，而非直接使用向量相似度。这能纠正初步检索的偏差： - 工具推荐：Llama-index 的 ReRanker，或用开源模型（如 MiniLM）计算查询与文档的细粒度得分[^3][^4]。 - 优点：捕捉细微语义差异，提高精确率，尤其适合长文本上下文[^2]。 - **动态上下文注入**：在 RAG 流水线中，将检索结果喂给 LLM 前，添加提示工程（prompt engineering）—如加入检索来源可信度分数—帮助 LLM 优先使用准确信息。 4. **系统级优化与监控** - **迭代测试和评估**：用数据集（如 HotpotQA 或领域数据集）评估变化：计算指标 (e.g., $ \text{Hit Rate}@k $ 或 $ \text{MRR} $)，确保每次优化可量化。开源工具：用 milvus-zoo 或 Trec_eval 基准测试[^3]。 - **规模扩展**：如果数据量大，确保向量数据库支持分布式（如 Milvus 集群处理万亿向量），避免性能瓶颈导致错误[^3][^4]。 - **错误回退机制**：设置阈值（如相似度得分 <0.6 时触发备选检索），减少失败率。 #### 步骤 3: 实施建议和总结 开始优化时，从小规模测试入手：例如，先尝试改进 Embedding 模型和重排序，观察召回率提升。然后，集成混合搜索和上下文检索（如引用[^2][^4]强调的技术），能显著提升精准性和效率[^2]。据统计，合理优化后，检索准确性可提升 20-50%。最终，确保整个 RAG 流水线连贯：向量数据库输出高质量上下文，LLM 生成更可靠答案[^1][^3]。 注意：这些方法已在工业实践中验证（如 Milvus + Llama-index 案例[^3]），但需根据具体数据集调整参数。持续监控和迭代是关键—如添加 A/B 测试比较配置。 ### 相关问题 1. 如何评估向量数据库的检索性能？（例如，指标如召回率或 MRR 的计算方法） 2. RAG 系统中，如何选择最合适的 Embedding 模型？（比如通用 vs. 领域专化模型的优缺点） 3. 向量数据库（如 Milvus）与其他数据库（如 Elasticsearch）在混合搜索中的集成策略？ [^1]: 向量数据库作为 RAG 的核心数据来源，其质量直接影响结果[^1]。 [^2]: 上下文检索技术能提升相关性和准确性[^2]。 [^3]: Milvus 等向量数据库通过高效索引处理大规模嵌入[^3]。 [^4]: RAG 结合向量数据库可应对多样场景[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值