第八章：LlamaIndex 进阶：构建复杂的 RAG 查询引擎

芝麻开门-新的起点

于 2025-08-05 08:51:15 发布

阅读量655

点赞数 13

CC 4.0 BY-SA版权

分类专栏： AIGC与多智能体文章标签： android 人工智能 AIGC

本文链接：https://blog.youkuaiyun.com/liangxh2010/article/details/149924589

在入门章节中，我们使用 VectorStoreIndex 构建了一个基础的 RAG 系统。然而，现实世界中的知识库往往是复杂和多样的。为了应对这些挑战，LlamaIndex 提供了丰富的进阶功能，允许我们构建更强大、更灵活的查询引擎。

VectorStoreIndex 擅长基于语义相似性进行检索，但它并非唯一的索引类型。LlamaIndex 提供了多种索引结构，以适应不同的数据和查询场景。

SummaryIndex (摘要索引):
- 工作原理: 它会将每个文档（或文档块）都进行一次摘要，然后将这些摘要存储起来。当用户提问时，它会先在摘要层面进行检索，找到相关的文档，然后再根据需要将这些文档的内容（或它们的摘要）喂给 LLM 来生成最终答案。
- 适用场景: 当你需要对大量文档进行高层次的、概括性的提问时非常有用。例如，“请总结一下这份财报的核心要点？”
- 与 VectorStoreIndex 的区别: VectorStoreIndex 关注的是“关键词”和“语义”的匹配，而 SummaryIndex 关注的是“主题”和“大意”的匹配。
KeywordTableIndex (关键词表索引):
- 工作原理: 它会从每个文档中提取出关键词，并构建一个从关键词到文档的映射表。当用户提问时，它会先从问题中提取关键词，然后利用这个映射表快速定位到包含这些关键词的文档。
- 适用场景: 当你的查询高度依赖于特定的术语、实体名或关键词时，这种索引非常高效。例如，“关于‘Transformer架构’的文档有哪些？”
- 与 VectorStoreIndex 的区别: KeywordTableIndex 是基于精确的词匹配，而 VectorStoreIndex 是基于模糊的语义匹配。

用户的问题往往不是单一的、原子性的，而是复杂的、包含多个子问题的。例如，“请比较一下 LlamaIndex 和 LangChain 在构建 RAG 应用方面的优缺点？”

要回答这个问题，一个简单的 RAG 系统可能会感到吃力。SubQuestionQueryEngine (子问题查询引擎) 正是为了解决这类问题而设计的。

工作原理:
1. 问题分解: 当接收到一个复杂问题时，它首先会利用 LLM 将这个问题分解成多个更简单的、可以独立回答的子问题。
  - “LlamaIndex 在构建 RAG 应用方面有哪些优点？”
  - “LlamaIndex 在构建 RAG 应用方面有哪些缺点？”
  - “LangChain 在构建 RAG 应用方面有哪些优点？”
  - “LangChain 在构建 RAG 应用方面有哪些缺点？”
2. 独立查询: 它会针对每一个子问题，分别在底层的查询引擎（例如，一个 VectorStoreIndex 的查询引擎）上执行查询，并得到各自的答案。
3. 答案合成: 最后，它会将所有子问题的答案汇总起来，再次利用 LLM 进行一次综合、提炼和润色，形成一个连贯的、全面的最终答案。

通过这种“分而治之”的策略，SubQuestionQueryEngine 能够显著提升对复杂问题的理解和回答质量。

在企业环境中，知识往往分散在不同的地方：一些在 PDF 文档里，一些在数据库里，还有一些可能在 Confluence 页面上。我们可能需要为每一种数据源构建不同的索引（例如，为 PDF 文档构建 VectorStoreIndex，为数据库构建一个 SQLTableIndex）。

当用户提问时，我们如何知道应该去哪个索引里查找答案呢？RouterQueryEngine (路由查询引擎) 就是这个问题的答案。

工作原理:
1. 注册工具: 你可以创建多个查询引擎（我们称之为“工具”），每个工具都与一个特定的索引相关联，并给每个工具一个清晰的描述。例如：
  - 工具A: “用于查询2023年公司财务报告的详细数据。” (关联 SummaryIndex)
  - 工具B: “用于查询产品技术文档和 API 参考。” (关联 VectorStoreIndex)
2. 智能路由: 当用户提问时，RouterQueryEngine 会利用 LLM 分析问题的意图，并根据工具的描述来选择一个或多个最合适的工具来执行查询。
3. 执行与返回: 它会将问题转发给被选中的工具，并返回其查询结果。