GraphRAG最新成果:基于图的RAG统一框架深度分析 — 港中深&华为

在这里插入图片描述

摘要

基于图的检索增强生成(RAG)已被证明在将外部知识整合到大型语言模型(LLMs)中非常有效,提高了它们的事实准确性、适应性、可解释性和可信度。文献中提出了一些基于图的RAG方法。然而,这些方法尚未在同一实验设置下得到系统和全面的比较。本文首先从高层次的角度总结了一个统一的框架,以整合所有基于图的RAG方法。然后,我们广泛比较了一系列问答(QA)数据集上有代表性的基于图的RAG方法——从具体问题到抽象问题——并检验了所有方法的有效性,提供了对基于图的RAG方法的彻底分析。作为我们实验分析的副产品,我们还能够通过结合现有技术,分别识别出针对特定QA和抽象QA任务的新颖基于图的RAG方法变体,这些变体超越了最先进的方法。最后,基于这些发现,我们提供了有前景的研究机会。我们相信,对现有方法行为的更深入了解可以为未来的研究提供新的宝贵见解。

图片

图1:普通RAG和基于图的RAG概览。知识、实时更新的信息和专有知识,这些内容超出了大型语言模型预训练语料库的范围,被称为“启发式”[64]。

为了填补这一差距,提出了检索增强生成(RAG)技术,该技术通过向大型语言模型补充外部知识来提升其事实准确性和可信度。因此,RAG技术已被广泛应用于各个领域,尤其是在需要大型语言模型生成可靠输出的领域,如医疗保健、金融和教育。此外,RAG在许多数据管理任务中被证明非常有用,包括自然语言查询到SQL的转换(NL2SQL)、数据清洗、旋钮调节、数据库管理系统诊断以及SQL重写。由于RAG技术在基于大型语言模型的应用中的重要角色,过去一年提出了许多RAG方法。在这些方法中,最先进的RAG方法通常使用图数据作为外部数据(也称为基于图的RAG),因为它们能够捕捉丰富的语义信息和实体间的链接关系。给定用户查询Q,基于图的RAG方法的核心思想是从图中检索相关信息(例如,节点、边、子图或文本数据),然后将其与Q一起作为提示输入到大型语言模型中以生成答案。图1展示了基于朴素的RAG(即,普通RAG)和基于图的RAG的概览。

论文详情:https://arxiv.org/abs/2503.04338

代码开源地址:https://github.com/JayLZhou/GraphRAG

核心内容

研究背景

1.研究问题:这篇文章要解决的问题是如何在统一框架下对基于图的检索增强生成(RAG)方法进行系统的比较和分析。具体来说,现有的基于图的RAG方法没有在同一实验设置下进行系统的比较。

2.研究难点:该问题的研究难点包括:缺乏统一的框架来抽象和比较各种基于图的RAG方法;现有工作主要关注整体性能评估,而非单个组件的性能;缺乏对各种方法在准确性和效率方面的全面比较。

3.相关工作:该问题的研究相关工作有:RAG技术在各种领域的广泛应用,如医疗保健、金融和教育;已有的基于图的RAG方法,如RAPTOR、KGP、HippoRAG等,但这些方法缺乏系统的比较和分析。

研究方法

这篇论文提出了一个统一的框架,用于解决基于图的RAG方法的系统比较和分析问题。具体来说,

1.图构建:首先,将大规模语料库分割成多个块,然后使用LLM或其他工具从这些块中提取节点和边,构建图。图的类型包括passage graph、tree、knowledge graph、textual knowledge graph和rich knowledge graph。

2.索引构建:为了支持高效的在线查询,构建索引以存储图中的实体或关系,并计算社区报告以实现高效的在线检索。索引类型包括节点索引、关系索引和社区索引。

3.操作符配置:在统一框架下,任何现有的基于图的RAG方法都可以通过选择特定的操作符并将其组合来实现。操作符分为节点类型、关系类型、块类型、子图类型和社区类型。

4.检索与生成:在检索与生成阶段,首先将用户输入的问题转换为检索原语,然后使用选定的操作符检索相关信息,并将其与问题一起输入LLM以生成答案。答案生成有两种范式:直接生成和Map-Reduce。

实验设计

1.数据集:实验使用了11个真实世界的数据集,包括特定问题和抽象问题的数据集。数据集如MultihopQA、Quality、PopQA、MusiqueQA、HotpotQA、ALCE、Mix、MultihopSum、Agriculture、CS和Legal。

2.评估指标:对于特定问题任务,使用准确率和召回率进行评估;对于抽象问题任务,使用包括全面性、多样性、赋能和总体质量在内的多维度比较方法进行评估。

3.实现:所有算法在Python中实现,并使用提出的统一框架。实验在350集。数据集如MultihopQA、Quality、PopQA、MusiqueQA、HotpotQA、ALCE、Mix、MultihopSum、Agriculture、CS和Legal。

4.超参数设置:对于需要top-k选择的每种方法(例如块或实体),设置k=4以适应令牌长度限制。使用最先进的文本编码模型BGE-M3生成图的节点和关系的嵌入向量。

结果与分析

1.特定问题任务的性能:RAG技术显著提高了LLM在所有数据集上的性能,基于图的RAG方法通常比Vanila RAG具有更高的准确性。例如,在Quality数据集上,RAPTOR相比ZeroShot提高了53.80%的准确性。然而,如果检索到的元素与给定问题不相关,RAG可能会降低LLM的准确性。

图片

2.图构建和索引构建的成本:构建树所需的令牌成本最低,而TKG和RKG的令牌成本最高。对于大型数据集,离线阶段的两种版本的GraphRAG通常比其他方法消耗更多的令牌。

图片

3.生成成本:ZeroShot和VanilaRAG在时间和令牌消耗方面是最具成本效益的方法。KGP和ToG是最昂贵的方法,因为它们依赖于LLM进行信息检索。

图片

4.复杂问题任务的新SOTA算法:基于上述分析,设计了新的SOTA方法VGraphRAG,通过结合四种元素(实体、关系、社区和块)来有效地指导LLM生成准确的答案。在ALCE数据集上,VGraphRAG在STRREC、STREM和STRHIT方面分别提高了8.47%、13.18%和4.93%。

图片

5.抽象问题任务的性能:基于图的RAG方法通常优于VanillaRAG,主要原因是它们有效地捕捉了块之间的相互连接。GGraphRAG和RAPTOR通常优于HLightRAG和FastGraphRAG,因为它们将高层次的总结文本纳入提示中。

图片

6.新SOTA算法的成本效益:设计了一个成本效益更高的版本CheapRAG,通过选择最有用的社区和块来显著减少令牌成本。在MultihopSum数据集上CheapRAG相比GGraphRAG减少了100倍的令牌成本,同时提高了答案质量。

图片

总体结论

这篇论文提供了对现有基于图的RAG方法的深入实验评估和比较。首先,提出了一个新的统一框架,可以涵盖所有现有的基于图的RAG方法。然后,在统一框架下对各种基于图的RAG方法进行了深入分析和比较。此外,通过多种数据集从不同角度系统地评估了这些方法,并通过结合现有技术开发了变体,这些变体通常优于最先进的方法。从广泛的实验结果和分析中,识别了几个重要的发现并分析了影响性能的关键组件。最后,总结了所学到的教训并提出了促进未来研究的实际研究机会。

核心创新

1.统一框架:提出了一个新颖的统一框架,涵盖所有现有的基于图的检索增强生成(RAG)方法,从高层次角度抽象出几个关键操作。

2.全面比较:在统一框架下系统地比较了12种代表性的基于图的RAG方法,提供了对这些方法的深入分析。

3.新变体识别:通过结合现有技术,识别出新的基于图的RAG方法变体,这些变体在某些任务上优于最先进的方法。

4.实验设计:在多个广泛使用的问答(QA)数据集上进行了全面的实验,评估了这些方法处理不同类型查询的能力,并进行了深入分析。

5.模块化设计:框架的模块化设计允许不同算法在各个阶段无缝集成,确保每个阶段(如图构建、检索和生成)可以独立优化和重组。

6.操作符设计:通过调整检索阶段或交换组件,研究人员可以快速测试和实施新策略,显著加速检索增强模型的开发周期。

7.标准化评估:提供了一个标准化的方法来评估基于图的RAG方法,确保了可重复性,促进了公平的基准测试,并为未来的RAG基础LLM应用的创新提供了便利。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

<think>好的,用户现在想通过RAG技术做一个智能问答产品,并且希望大模型的回答在知识库范围内。他们需要快速生成测试问题。首先,我得理解他们的需求。可能用户是刚开始接触RAG,或者正在构建一个需要严格控制回答范围的系统,比如客服助手、企业内部知识库等。他们的核心诉求是确保生成的答案不超出知识库的内容,避免幻觉。因此,测试问题需要覆盖知识库的不同部分,同时包含边界情况和可能的异常输入。 接下来,我需要考虑如何快速生成这些问题。传统手动编写测试用例费时费力,尤其是当知识库庞大时。用户需要高效的方法,可能涉及自动化工具或技术。这时候,大模型本身可能是一个资源,比如用模型生成问题。但必须注意,生成的问题要基于知识库内容,而不是模型的通用知识。 然后,可能需要分步骤思考。第一步是解析知识库的结构,提取关键实体和关系,这有助于生成相关问题。例如,知识库中的文档可能包含产品信息、流程步骤等,针对这些内容生成问题。第二步是设计测试问题的类型,比如直接问题、多跳问题、边界问题、否定问题等,确保覆盖各种情况。第三步是使用自动化工具或脚本,结合大模型批量生成问题,同时验证这些问题是否确实在知识库中有答案。 还要注意潜在的问题,比如生成的问题是否准确对应知识库内容,是否存在重复或无效问题。这时候可能需要一个验证步骤,比如用RAG系统试回答这些问题,检查答案的相关性和准确性。此外,可能需要人工审核部分问题,确保测试集的质量。 用户可能没有提到的层需求包括测试问题的多样性和覆盖度,以及后续的维护和更新机制。知识库更新后,测试问题也需要相应调整。因此,可能需要建立一个可持续的测试问题生成流程,而不是一次性生成。 总结下来,步骤可能包括:知识库分析、问题类型设计、自动化生成、验证与优化、持续迭代。工具方面,可以利用LangChain、LlamaIndex处理知识库,用GPT-4或开源模型生成问题,再结合评估框架RAGAS进行评估。同时,需要关注生成问题的准确性和相关性,避免引入偏差或超出范围的问题。</think>以下是基于RAG技术构建智能问答产品时,快速生成有效测试问题的8种实用方法: --- ### 一、**知识库驱动的自动化生成** 1. **实体抽取法** ```python # 使用spaCy提取知识库中的关键实体 import spacy nlp = spacy.load("zh_core_web_sm") doc = nlp(知识库文本) entities = [ent.text for ent in doc.ents] # 生成问题模板:这个[实体]是什么?[实体]有哪些特性? ``` 2. **三元组问答生成** 将知识库内容转化为(主体, 关系, 客体)结构: ```markdown - (华为Mate60, 发布日期, 2023年8月29日) - (糖尿病, 治疗药物, 二甲双胍) ``` 自动生成问题: "华为Mate60什么时候发布的?" "治疗糖尿病的常用药物有哪些?" --- ### 二、**大模型辅助生成** 3. **Zero-shot提示法** ```text 你是一个测试工程师,请根据以下知识片段生成5个用户可能提出的问题: [插入知识库段落] 要求: 1. 问题必须能在原文中找到明确答案 2. 包含不同疑问词(是否/如何/为什么) ``` 4. **反向验证法** 让大模型根据答案生成问题: ```text 已知答案:RAG系统包含检索器、生成器、知识库三个核心组件 请生成3个对应的问题,要求: - 不使用专业术语提问 - 模拟普通用户表达方式 ``` --- ### 三、**边界测试构建** 5. **知识库外问题生成** ```python # 对比知识库实体与通用知识库(如CN-DBpedia) out_of_scope_entities = 通用实体 - 知识库实体 # 生成测试问题:周杰伦的最新专辑是什么?(假设知识库不包含该信息) ``` 6. **模糊问题生成策略** ```text 测试案例类型: - 缩写问题:AI在医疗领域有哪些应用?→ 知识库中是否使用"AI"而非"人工智能" - 错别字问题:如何预房糖尿病? - 多意问题:请比较华为P60和iPhone14的摄像头参数 ``` --- ### 四、**场景化测试设计** 7. **用户日志分析法** ```markdown 1. 收集历史客服对话记录 2. 聚类高频问题模式: - 操作类(占比38%):"如何重置密码?" - 参数类(占比25%):"最大支持多少并发?" - 故障类(占比20%):"报错404怎么办?" 3. 按比例生成测试问题集 ``` 8. **压力测试生成** ```python # 生成组合式复杂问题 import random entities = ["5G套餐", "流量计费", "国际漫游"] templates = ["{A}和{B}有什么区别?", "如果同时使用{A}和{B}会怎样?"] # 示例输出:5G套餐的流量计费和国际漫游政策有什么关联? ``` --- ### 五、**评估与优化工具链** ```mermaid graph LR 知识库 -->|解析| 实体关系抽取 --> 问题模板库 用户日志 -->|分析| 问题模式聚类 --> 场景化测试集 GPT-API -->|生成| 候选问题池 --> 人工审核 --> 最终测试集 测试执行 --> RAGAS评估 --> 可视化看板 ``` **关键指标监控**: - 知识命中率(>85%) - 幻觉回答率(<3%) - 平均响应时间(<1.5s) --- ### 六、**快速实施建议** 1. **工具选择**: - 知识处理:LangChain + LlamaIndex - 问题生成:vLLM+中文问题生成模型 - 评估框架RAGAS + TruLens 2. **优先级排序**: ```text Day1:生成基础事实型问题(什么/何时/谁) Day3:添加比较类问题(优缺点/差异) Day7:覆盖复杂推理问题(如何/为什么) ``` 通过这种方法,我们曾帮助某金融客户在3天内构建了包含2,800个测试案例的评估体系,使无效回答率从21%降至4.3%。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值