GraphRAG最新成果：基于图的RAG统一框架深度分析 — 港中深&华为

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/146339660

在这里插入图片描述

摘要

基于图的检索增强生成（RAG）已被证明在将外部知识整合到大型语言模型（LLMs）中非常有效，提高了它们的事实准确性、适应性、可解释性和可信度。文献中提出了一些基于图的RAG方法。然而，这些方法尚未在同一实验设置下得到系统和全面的比较。本文首先从高层次的角度总结了一个统一的框架，以整合所有基于图的RAG方法。然后，我们广泛比较了一系列问答（QA）数据集上有代表性的基于图的RAG方法——从具体问题到抽象问题——并检验了所有方法的有效性，提供了对基于图的RAG方法的彻底分析。作为我们实验分析的副产品，我们还能够通过结合现有技术，分别识别出针对特定QA和抽象QA任务的新颖基于图的RAG方法变体，这些变体超越了最先进的方法。最后，基于这些发现，我们提供了有前景的研究机会。我们相信，对现有方法行为的更深入了解可以为未来的研究提供新的宝贵见解。

图1：普通RAG和基于图的RAG概览。知识、实时更新的信息和专有知识，这些内容超出了大型语言模型预训练语料库的范围，被称为“启发式”[64]。

为了填补这一差距，提出了检索增强生成（RAG）技术，该技术通过向大型语言模型补充外部知识来提升其事实准确性和可信度。因此，RAG技术已被广泛应用于各个领域，尤其是在需要大型语言模型生成可靠输出的领域，如医疗保健、金融和教育。此外，RAG在许多数据管理任务中被证明非常有用，包括自然语言查询到SQL的转换（NL2SQL）、数据清洗、旋钮调节、数据库管理系统诊断以及SQL重写。由于RAG技术在基于大型语言模型的应用中的重要角色，过去一年提出了许多RAG方法。在这些方法中，最先进的RAG方法通常使用图数据作为外部数据（也称为基于图的RAG），因为它们能够捕捉丰富的语义信息和实体间的链接关系。给定用户查询Q，基于图的RAG方法的核心思想是从图中检索相关信息（例如，节点、边、子图或文本数据），然后将其与Q一起作为提示输入到大型语言模型中以生成答案。图1展示了基于朴素的RAG（即，普通RAG）和基于图的RAG的概览。

论文详情：https://arxiv.org/abs/2503.04338

代码开源地址：https://github.com/JayLZhou/GraphRAG

核心内容

研究背景

1.研究问题：这篇文章要解决的问题是如何在统一框架下对基于图的检索增强生成(RAG)方法进行系统的比较和分析。具体来说，现有的基于图的RAG方法没有在同一实验设置下进行系统的比较。

2.研究难点：该问题的研究难点包括：缺乏统一的框架来抽象和比较各种基于图的RAG方法；现有工作主要关注整体性能评估，而非单个组件的性能；缺乏对各种方法在准确性和效率方面的全面比较。

3.相关工作：该问题的研究相关工作有：RAG技术在各种领域的广泛应用，如医疗保健、金融和教育；已有的基于图的RAG方法，如RAPTOR、KGP、HippoRAG等，但这些方法缺乏系统的比较和分析。

研究方法

这篇论文提出了一个统一的框架，用于解决基于图的RAG方法的系统比较和分析问题。具体来说，

1.图构建：首先，将大规模语料库分割成多个块，然后使用LLM或其他工具从这些块中提取节点和边，构建图。图的类型包括passage graph、tree、knowledge graph、textual knowledge graph和rich knowledge graph。

2.索引构建：为了支持高效的在线查询，构建索引以存储图中的实体或关系，并计算社区报告以实现高效的在线检索。索引类型包括节点索引、关系索引和社区索引。

3.操作符配置：在统一框架下，任何现有的基于图的RAG方法都可以通过选择特定的操作符并将其组合来实现。操作符分为节点类型、关系类型、块类型、子图类型和社区类型。

4.检索与生成：在检索与生成阶段，首先将用户输入的问题转换为检索原语，然后使用选定的操作符检索相关信息，并将其与问题一起输入LLM以生成答案。答案生成有两种范式:直接生成和Map-Reduce。

实验设计

1.数据集：实验使用了11个真实世界的数据集，包括特定问题和抽象问题的数据集。数据集如MultihopQA、Quality、PopQA、MusiqueQA、HotpotQA、ALCE、Mix、MultihopSum、Agriculture、CS和Legal。

2.评估指标：对于特定问题任务，使用准确率和召回率进行评估；对于抽象问题任务，使用包括全面性、多样性、赋能和总体质量在内的多维度比较方法进行评估。

3.实现：所有算法在Python中实现，并使用提出的统一框架。实验在350集。数据集如MultihopQA、Quality、PopQA、MusiqueQA、HotpotQA、ALCE、Mix、MultihopSum、Agriculture、CS和Legal。

4.超参数设置：对于需要top-k选择的每种方法(例如块或实体)，设置k=4以适应令牌长度限制。使用最先进的文本编码模型BGE-M3生成图的节点和关系的嵌入向量。

结果与分析

1.特定问题任务的性能：RAG技术显著提高了LLM在所有数据集上的性能，基于图的RAG方法通常比Vanila RAG具有更高的准确性。例如，在Quality数据集上，RAPTOR相比ZeroShot提高了53.80%的准确性。然而，如果检索到的元素与给定问题不相关，RAG可能会降低LLM的准确性。

2.图构建和索引构建的成本：构建树所需的令牌成本最低，而TKG和RKG的令牌成本最高。对于大型数据集，离线阶段的两种版本的GraphRAG通常比其他方法消耗更多的令牌。

3.生成成本：ZeroShot和VanilaRAG在时间和令牌消耗方面是最具成本效益的方法。KGP和ToG是最昂贵的方法，因为它们依赖于LLM进行信息检索。

4.复杂问题任务的新SOTA算法：基于上述分析，设计了新的SOTA方法VGraphRAG，通过结合四种元素(实体、关系、社区和块)来有效地指导LLM生成准确的答案。在ALCE数据集上，VGraphRAG在STRREC、STREM和STRHIT方面分别提高了8.47%、13.18%和4.93%。

5.抽象问题任务的性能：基于图的RAG方法通常优于VanillaRAG，主要原因是它们有效地捕捉了块之间的相互连接。GGraphRAG和RAPTOR通常优于HLightRAG和FastGraphRAG，因为它们将高层次的总结文本纳入提示中。

6.新SOTA算法的成本效益：设计了一个成本效益更高的版本CheapRAG，通过选择最有用的社区和块来显著减少令牌成本。在MultihopSum数据集上CheapRAG相比GGraphRAG减少了100倍的令牌成本，同时提高了答案质量。

总体结论

这篇论文提供了对现有基于图的RAG方法的深入实验评估和比较。首先，提出了一个新的统一框架，可以涵盖所有现有的基于图的RAG方法。然后，在统一框架下对各种基于图的RAG方法进行了深入分析和比较。此外，通过多种数据集从不同角度系统地评估了这些方法，并通过结合现有技术开发了变体，这些变体通常优于最先进的方法。从广泛的实验结果和分析中，识别了几个重要的发现并分析了影响性能的关键组件。最后，总结了所学到的教训并提出了促进未来研究的实际研究机会。

核心创新

1.统一框架：提出了一个新颖的统一框架，涵盖所有现有的基于图的检索增强生成(RAG)方法，从高层次角度抽象出几个关键操作。

2.全面比较：在统一框架下系统地比较了12种代表性的基于图的RAG方法，提供了对这些方法的深入分析。

3.新变体识别：通过结合现有技术，识别出新的基于图的RAG方法变体，这些变体在某些任务上优于最先进的方法。

4.实验设计：在多个广泛使用的问答(QA)数据集上进行了全面的实验，评估了这些方法处理不同类型查询的能力，并进行了深入分析。

5.模块化设计：框架的模块化设计允许不同算法在各个阶段无缝集成，确保每个阶段(如图构建、检索和生成)可以独立优化和重组。

6.操作符设计：通过调整检索阶段或交换组件，研究人员可以快速测试和实施新策略，显著加速检索增强模型的开发周期。

7.标准化评估：提供了一个标准化的方法来评估基于图的RAG方法，确保了可重复性，促进了公平的基准测试，并为未来的RAG基础LLM应用的创新提供了便利。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述