向量数据库+上下文检索：提升RAG等AI应用的精准性与效率_rag + 文档提取+ 向量数据库-优快云博客

本文链接：https://blog.youkuaiyun.com/zhishi0000/article/details/146113160

随着生成式 AI（GenAI）的兴起，向量数据库（Vector Database）迅速走红。然而，向量数据库的应用远不止于大模型（LLM），它同样适用于各种 AI 系统，尤其是在 RAG 的场景下。

在 AI 领域，我们经常处理向量嵌入（Vector Embeddings）。向量数据库正是为了高效存储、更新和检索这些嵌入数据而生的：

✅ 存储（Storing）
✅ 更新（Updating）
✅ 检索（Retrieving）

其中，检索（Retrieval） 指的是查找与查询向量最相似 的一组向量，这一过程被称为 近似最近邻（ANN, Approximate Nearest Neighbour）搜索。例如：

查询可以是一个图片，希望找到与之相似的图片。
查询也可以是一个文本问题，希望检索到相关背景信息，并借助 LLM 生成答案。

构建向量数据库：数据的写入与读取

写入/更新数据

1️⃣ 选择合适的机器学习模型，用于生成向量嵌入。
2️⃣ 对各种类型的数据进行嵌入（文本、图像、音频、表格等）。
3️⃣ 使用嵌入模型将数据转换为向量表示。
4️⃣ 存储元数据，以便后续进行预筛选或后筛选。
5️⃣ 索引嵌入数据，常见索引方法包括：

- 随机投影（Random Projection）
- 产品量化（Product Quantization）
- 局部敏感哈希（Locality-Sensitive Hashing, LSH）

6️⃣ 存储向量数据，同时建立索引，以便后续高效检索。

读取数据

7️⃣ 查询向量数据库通常包括两部分：

- 用于 ANN 搜索的数据
  
  （例如，查询一张图片，寻找相似图片）。
- 元数据查询
  
  （例如，搜索公寓图片，但排除特定城市的公寓）。

8️⃣ 执行元数据查询，可以在 ANN 搜索之前或之后进行。
9️⃣ 使用相同的嵌入模型将查询数据转换为向量。
🔟 执行 ANN 搜索，找出最相似的向量。常见的相似性度量方法包括：

- 余弦相似度（Cosine Similarity）
- 欧几里得距离（Euclidean Distance）
- 点积（Dot Product）

上下文检索：如何提高检索数据的准确性？

在 RAG 任务中，传统的检索方式可能会导致重要的上下文缺失，影响生成结果的质量。因此，Anthropic 团队提出了一种新的方法——上下文检索（Contextual Retrieval），其核心思想是在数据预处理阶段增强上下文信息，使得模型在查询时能够获得更精准的背景数据。

预处理（Preprocessing）

1️⃣ 将文档拆分成多个块（Chunks）。
2️⃣ 对每个分块单独处理，将其与完整文档一起加入 Prompt。
3️⃣ 添加指令，让 LLM 生成该分块的简要上下文，并明确该分块在文档中的位置。
4️⃣ 合并生成的上下文与原始分块。
5️⃣ 使用 TF-IDF 进行嵌入，提高关键词匹配能力。
6️⃣ 使用 LLM 进行向量嵌入，获取语义表示。
7️⃣ 存储嵌入数据，支持高效检索。

检索（Retrieval）

8️⃣ 使用用户查询进行上下文检索，ANN 进行语义匹配，TF-IDF 进行精确匹配。
9️⃣ 应用 Rank Fusion 技术，合并和去重检索结果，筛选出前 N 个最相关的数据块。
🔟 重新排序（Rerank）**结果，提取**前 K 个数据块。
1️⃣1️⃣ 将筛选后的数据块与用户查询一起输入 LLM，最终生成高质量的答案。

❗ 步骤 3 可能会带来较高的计算成本，但可以通过Prompt 缓存（Prompt Caching）降低成本，提高响应效率。