PageIndex：无向量、基于推理的 RAG

一、背景

大型语言模型（LLM）已成为文档理解和问答的强大引擎。然而，它们受到一个根本性的架构限制：上下文窗口，即模型一次可以处理的最大词元数。尽管最近的模型支持更长的上下文，但诸如 Chroma 的上下文腐烂研究等研究表明，随着上下文长度的增长，模型性能会下降。这使得 LLM 难以准确解释和推理冗长、复杂且特定领域的文档，例如财务报告或法律文件。

为了克服这一局限性，检索增强生成****（RAG）** 已成为主流解决方案。RAG 并非将整个文档输入模型，而是根据用户的查询检索并仅提供最相关的文本片段，从而优化有效上下文长度。然而，传统的基于向量的 RAG 方法严重依赖静态语义相似度，并面临诸多关键限制。为了应对这些挑战，Vectify AI提出了 PageIndex ，这是一个基于推理的检索框架，它使逻辑语言模型（LLM）能够动态地导航文档结构并推断哪些部分真正相关，而不仅仅是检索语义相似的文本。**

二、基于向量的 RAG 的局限性

---

---

基于向量的随机抽样算法（RAG）依赖于语义嵌入和向量数据库来识别相关的文本块。在预处理阶段，文档首先被分割成更小的文本块，然后使用嵌入模型将每个文本块嵌入到向量空间中，并将生成的向量存储在诸如 Chroma 或 Pinecone 之类的向量数据库中。在查询阶段，用户查询使用相同的嵌入模型进行嵌入，在向量数据库中搜索语义相似的文本块，系统检索前 k 个结果，这些结果随后用于构建模型的输入上下文。虽然基于向量的随机抽样算法对于短文本来说简单有效，但它仍然面临着几个主要挑战：

• 查询空间与知识空间不匹配。向量检索假设与查询语义最相似的文本也是最相关的。但这并非总是如此：查询通常表达的是意图，而非内容。**
• 语义相似性并不等同于相关性。这在特定领域文档（例如，财务文件、法律文件和技术手册）中尤其成问题，因为许多段落的语义几乎相同，但相关性却大相径庭。
• 硬分块会破坏语义和上下文的完整性。为了进行词嵌入，文档会被分割成固定大小的块（例如，512 或 1000 个词元）。这种“硬分块”常常会切断句子、段落或章节，从而破坏语义和上下文。
• 无法集成聊天记录。每个查询都会被独立处理。检索器不知道之前问过什么或回答过什么。
• 文档内引用难以处理。文档中经常包含诸如“参见附录 G”或“参见表 5.3”之类的引用。由于这些引用与被引用的内容语义相似度不高，传统的 RAG 方法会遗漏它们，除非进行额外的预处理（例如构建知识图谱）。

由于这些局限性，即使是像 Claude Code 这样先进的系统也已摒弃了传统的基于向****量的 RAG 代码检索方法，在不依赖向量数据库的情况下实现了更高的精度和速度。Vectify AI认为同样的原理也适用于文档检索：LLM 系统不再依赖于静态嵌入和语义相似性，而是可以基于文档的结构化表示进行推理，从而决定下一步的查找方向，而不仅仅是寻找相似之处。为此，Vectify AI推出了 Pa****geIndex ，这是一个基于推理的 RAG 框架，它克服了基于向量系统的局限性，并将智能体检索的强大功能应用于长篇结构化文档。

三、PageIndex 简介

---

您是否对使用矢量数据库检索长篇专业文档的准确率感到不满？传统的基于矢量的红绿灯算法依赖于语义相似性而非真正的相关性。但相似性≠相关性**——我们真正需要的是相关性，而这需要推理。当处理需要领域专业知识和多步骤推理的专业文档时，相似性搜索往往难以胜任。**

受 AlphaGo 的启发，提出了 PageIndex—— 一个无向量**、基于推理的 RAG 系统。该系统从长文档构建层级树状索引，并利用逻辑逻辑模型（LLM）对该索引进行推理，从而实现智能的、上下文感知的检索。它模拟了人类专家如何通过树状搜索从复杂文档中导航和提取知识，使 LLM 能够思考和推理，找到最相关的文档部分。PageIndex 分两步执行检索：**

1. 生成文档的“目录”树状结构索引

2. 通过树搜索执行基于推理的检索

   

🎯 核心功能

与传统的基于矢量的 RAG 相比， PageIndex 具有以下特点：

• 无向量数据库：使用文档结构和 LLM 推理进行检索，而不是向量相似性搜索。
• 不分块：文档按自然章节组织，而不是人为划分成块。
• 类人检索：模拟人类专家如何浏览和提取复杂文档中的知识。
• 更好的可解释性和可追溯性：检索基于推理——可追溯、可解释，并提供页码

和章节参考。不再是晦涩难懂、近似的向量搜索（“凭感觉检索”）。

PageIndex 为基于推理的 RAG 系统提供支持，该系统在 FinanceBench 上达到了最先进的 98.7% 准确率，在专业文档分析方面表现出优于基于矢量的 RAG 解决方案的卓越性能。

四、PageIndex：基于推理的检索

---

它遵循以下迭代过程：

• 阅读目录 。了解文档结构，并确定可能相关的章节。

• 选择章节。根据问题，选择最有可能包含有用信息的章节。

• 提取相关信息。解析所选部分，收集任何可能有助于回答问题的内容。

• 信息是否充足？

• 是的 → 继续回答问题。

• 否 → 返回步骤 1 ，并对另一部分重复循环。

• 回答问题。收集到足够的信息后，给出完整且论证充分的答案。

在此过程中，目录充当文档的关键索引，使学习管理系统能够高效地浏览和检索信息。下一节一起讨论如何设计便于学习管理系统使用的目录。

五、法学硕士课程“目录”索引

---

PageIndex引入了一种基于 JSON 的层级结构来表示非结构化文档的目录 (ToC)** 。该目录充当索引树，将内容组织成层级节点。每个节点代表一个逻辑部分（例如，章节、段落、页码），并且可以包含元数据、描述以及指向其子部分的链接。**

这种方法允许法学硕士（LLM）做到：

• 递归地遍历结构化内容。

• 通过 node_id 检索目标原始数据。

• 关联上下文元数据（例如，来源类型、主题或语义标签）。

PageIndex 树状索引示例（JSON 格式）

Node {
node_id: string,         // Unique node identifier
name: string,            // Human-readable label or title
description: string,     // Optional detailed explanation of the node
metadata: object,        // Arbitrary key-value pairs for context or attributes
sub_nodes: [Node]        // Array of child nodes (recursive structure)
}

Node：

• node_id 用作查找相应原始数据的引用键。
• sub_nodes 字段允许递归嵌套，形成完整的目录树。
• metadata 字段可以存储语义信息，例如文档类型、作者、时间戳或相关性评分。

示例页面索引树：

{
"node_id": "0006",
"title": "Financial Stability",
"start_index": 21,
"end_index": 22,
"summary": "The Federal Reserve ...",
"sub_nodes": [
{
"node_id": "0007",
"title": "Monitoring Financial Vulnerabilities",
"start_index": 22,
"end_index": 28,
"summary": "The Federal Reserve's monitoring ..."
},
{
"node_id": "0008",
"title": "Domestic and International Cooperation and Coordination",
"start_index": 28,
"end_index": 31,
"summary": "In 2023, the Federal Reserve collaborated ..."
}
]
}
...

目录中的每个节点都直接链接到其对应的原始内容（例如，文本、图像、表格）：

node_id → node_content (raw content, extracted text, images, etc.)

这种映射使 LLM 能够根据需要选择和检索特定节点，从而实现精确且具有上下文感知的信息访问。

与存储外部静态嵌入索引的向量数据库不同，基于 JSON 的目录索引驻留在LLM 的动态推理上下文中。PageIndex称之为上下文内索引——模型在推理过程中可以直接引用、导航和推理的结构。通过将索引集成到模型的上下文窗口中，LLM 可以动态地决定下一步的查找方向， 而不再仅仅依赖预先计算的相似度得分。这实现了上下文推理驱动的检索，有效地解决了传统基于向量的 RAG 系统中固有的许多限制。

六、克服局限性

---

• 查询空间与知识空间不匹配

  LLM 并非仅仅依赖于嵌入相似性搜索，而是运用推理来推断答案可能所在的章节。它可以“思考”文档结构，例如： “债务趋势通常位于财务摘要部分或附录 G——我们去那里查找。” 这种动态推理弥合了查询含义与信息位置之间的鸿沟。

• 语义相似性 ≠ 真正相关性

  基于推理的检索强调上下文相关性**，而不仅仅是相似性。该模型读取目录或页面索引结构，理解查询意图，并导航到实际包含答案的章节，即使它们的语言不同。这与人类寻找答案的方式类似：通过理解问题，而不仅仅是匹配词语。**

• 硬分块破坏语义完整性

  基于推理的 RAG 算法并非随意分块，而是检索语义连贯的部分**（例如，整页、节或章节）。如果模型检测到某个部分不完整，它会迭代地获取相邻部分（例如，下一页或子节点），直到上下文足够为止。这既能保持逻辑连续性，又能最大限度地减少信息错位。**

• 无法整合聊天记录

  检索过程具有上下文感知能力**：模型会利用先前的对话历史来加深对当前问题的理解。例如，如果用户之前询问过“金融资产”，现在又问“负债呢？”，检索器就会知道应该在同一份报告的负债部分下进行探索。这使得跨多个对话回合的连贯、多步骤探索成为可能。**

• 文档内引用处理不当

  通过利用基于页面索引或目录的层级结构**，基于推理的检索可以像人类读者一样浏览引用。当遇到类似 “参见附录 G” 这样的短语时，LLM 会导航到索引树中的相应部分并检索相关数据。这使得无需手动构建链接即可实现精确的交叉引用。**

• 在 PageIndex MCP 示例中，查询请求递延资产的总价值 。主要部分（第75-82 页）仅报告了价值的增加值，而非总价值。第 77 页的文本内容如下：

表 5.3 汇总了各储备银行 2023 年和 2022 年的收入、支出和分配情况。本报告附录 G“统计表”提供了更详细的信息……

基于推理的检索器根据这一线索找到了附录 G，找到了正确的表格，并返回了递延资产总值——这是基于向量的检索器很可能无法完成的任务。

七、摘要：向量与基于推理的红黄绿灯算法

---

局限性	基于向量的 RAG	基于推理的 RAG
1. 查询与知识不匹配	表面上相似，但往往忽略了真正的语境。	利用推理来识别最相关的文档部分
2. 相似性 ≠ 相关性	检索语义相似但不相关的数据块	检索与上下文相关的信息
3. 硬块化	固定长度块片段含义	动态检索连贯章节
4. 无聊天内容	每个查询都是独立的。	多轮推理会考虑先前的语境
5. 交叉引用	无法访问内部文档链接	遵循目录/页码索引的逻辑进行正文引用

🛠️ 部署选项

• 自托管——使用此开源仓库在本地运行。
• 云服务——立即试用我们的聊天平台 ，或与 MCP或 API集成。
• 企业级解决方案——私有部署或本地部署

🧪 快速上手

• 试试 Vect****orless RAG 笔记本——一个使用 PageIndex 实现基于推理的 RAG的极简实践示例。

• 尝试基于视觉的无矢量 RAG—— 无需 OCR；一个极简的、原生于推理的 RAG 管道，可直接处理页面图像。

⚙️ 包装使用

1.安装依赖项

pip3 install --upgrade -r requirements.txt

2.设置您的 OpenAI API 密钥

在根目录下创建一个 .env 文件，并添加您的 API 密钥：

CHATGPT_API_KEY=your_openai_key_here

3.对 PDF 文件运行 PageIndex 函数

python3 run_pageindex.py --pdf_path /path/to/your/document.pdf

可选参数

您可以使用额外的可选参数来自定义处理过程：

--model                 OpenAI model to use (default: gpt-4o-2024-11-20)
--toc-check-pages       Pages to check for table of contents (default: 20)
--max-pages-per-node    Max pages per node (default: 10)
--max-tokens-per-node   Max tokens per node (default: 20000)
--if-add-node-id        Add node ID (yes/no, default: yes)
--if-add-node-summary   Add node summary (yes/no, default: yes)
--if-add-doc-description Add doc description (yes/no, default: yes)

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】