Equipping Retrieval-Augmented Large Language Models with Document Structure Awareness

该文章提出了一种名为Retrieve-DocumentRoute-Read（RDR²）的新型检索增强生成（RAG）框架，核心是通过融入文档结构信息，解决传统RAG将检索段落视为孤立块的问题，在多个数据集上实现了当前最优性能。

一、文章主要内容总结

1. 研究背景：传统大语言模型（LLMs）依赖参数化知识易产生事实错误，RAG通过外部文档缓解该问题，但现有RAG方法忽略文档固有的结构信息，导致知识获取和整合能力受限，尤其在多文档合成场景中表现不佳。
2. 核心框架（RDR²）：包含三个关键阶段
   • 检索（Retrieve）：基于输入问题从数据存储中检索top-k相关段落及对应文档。
   • 文档路由（Document Route）：由基于LLM的路由器动态导航文档结构树，通过三种原子动作（[ANS]提取有用内容、[EXP]展开潜在相关标题、[REF]停止探索）筛选并整合最优证据段落。
   • 读取（Read）：利用筛选后的段落，由LLM生成最终回答。
3. 文档结构表示：定义两种节点构建文档结构树（DST），结构节点（如标题）表示层级关系，内容节点（如段落）包含文本信息；并衍生检索子树