spRAG：一个处理密集非结构化文本复杂检索的 RAG 框架

一、前言

在自然语言处理和信息检索领域，RAG（Retrieval-Augmented Generation）模型已经展现出了巨大的潜力。然而，当面对复杂的PDF文档时，传统的RAG模型往往会遇到一些挑战。这些文档通常包含各种格式、图片、表格等元素，使得检索和解析变得困难。为了应对这一挑战，LlamaIndex推出了LlamaParse技术，专门用于解析和处理复杂的PDF文档。

LlamaParse 采用了先进的解析技术，能够有效地提取PDF文档中的文本、图像和表格等内容，并将其转化为结构化的数据。通过与 LlamaIndex 的无缝整合，LlamaParse 不仅提高了解析的准确性和效率，还大大降低了处理复杂文档所需的成本。这一技术的出现，为RAG模型处理复杂PDF文档提供了一个强大的工具。

然而，尽管 LlamaParse 在解析和处理PDF文档方面表现出色，但在处理密集的非结构化文本数据时，仍然存在一些局限性。这时，SuperpoweredAI 推出的 spRAG 框架就显得尤为重要。spRAG是一个专门用于处理密集非结构化数据的RAG框架，特别适用于处理复杂的查询，如财务报告、法律文件和学术论文等。

与LlamaParse相比，spRAG在处理复杂查询方面有着显著的优势。它采用了两种关键技术：AutoContext和Relevant Segment Extraction（RSE）。AutoContext 能够在嵌入文本块之前，自动将文档级别的上下文注入到单个块中，使得嵌入更准确地表示文本的内容和含义。RSE 则是一种后处理步骤，能够将相关的文本块智能地组合成更长的文本段，为语言模型提供更好的上下文。

在一项具有挑战性的基准测试 FinanceBench 中，spRAG 的准确率高达83%，而普通RAG基准模型仅为19%。这充分展示了spRAG在处理复杂查询方面的优越性能。此外，spRAG的安装和使用也非常简单，可以通过Python包pip轻松安装。

LlamaParse 和 spRAG 在RAG模型的发展历程中扮演着重要的角色。LlamaParse 专注于解析和处理复杂的PDF文档，而 spRAG 则专注于处理密集的非结构化文本数据和复杂查询。两者的结合，为RAG模型在各种场景下的应用提供了强大的支持，推动了自然语言处理和信息检索领域的发展。

二、关键技术

在 spRAG 框架中，有两项关键技术发挥着至关重要的作用，它们分别是 AutoContext 和 Relevant Segment Extraction（RSE）。这两项技术的引入，显著提升了 spRAG 在处理密集非结构化文本数据和复杂查询方面的性能。下面，我们就来详细了解一下这两项技术的原理和作用。

2.1、AutoContext：自动注入文档级别上下文

在传统的RAG模型中，文本数据通常被分割成固定长度的块，然后再进行嵌入。这种方式虽然简单，但却忽略了文档级别的上下文信息，导致嵌入的上下文不够准确和完整。而 AutoContext 技术则巧妙地解决了这一问题。

AutoContext 的核心思