基于RAPTOR实现高质量长上下文的RAG

RAGFlow (https://github.com/infiniflow/ragflow) 在本周发布了 0.6 版本，解决了自开源以来在易用性，稳定性上等等面临的诸多问题。从下个版本开始，RAGFlow 将开始向 RAG 深层次演进。当下 RAG 仍然处于一个搭建 PoC 容易，但实际应用难的局面，这其中根本原因在于 RAG 本身面临诸多挑战，主要包括：

1. 数据质量问题。RAGFlow 提供了开源的数据清洗和切分工具，有助于缓解这方面的问题，这方面 RAGFlow 的内置模型会继续迭代和进化。

2. 数据召回问题。主要是针对对话意图明确的场景下，需要提供多路召回方法方便用户提取到准确的上下文。目前RAGFlow 采用能够提供多路召回能力的数据库，可以缓解这方面的问题。

3. 寻找答案困难。在很多情况下，利用问题内容本身去检索，并不能真正找到答案的上下文，这两者之间存在语义空间的 GAP。

针对上面的最后一点，可以在多方面做工作，比如：

1. 引入外部知识图谱做查询改写，识别用户意图。

2. 引入 Agent 机制，让对话跟 LLM 产生更多交互和反省机制，从而提升回答质量。

3. 增加召回上下文，让 LLM 可以在更长的上下文窗口找到答案。

以上这些工作，都在 RAGFlow 未来的规划中。今天我们要讲的是在 RAGFlow 正在开发的版本上 (github main 分支，docker dev tag)，针对上面的第三点，提供了的一个实验性功能，就是本文标题所提到的基于 RAPTOR 实现长上下文 RAG。

RAPTOR 来自于今年初的一篇论文《Recursive Abstractive Processing for Tree Organized Retrieval》，它介绍了一种文档增强预处理的方法：对文档内容做层次化聚类，如图所示：