论文笔记-arXiv2024-GraphRAG: A Survey

已于 2024-09-25 10:39:39 修改
阅读量996 收藏 22
点赞数 13
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-09-24 10:36:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46464344/article/details/142482549
版权

论文笔记-arXiv2024-Graph Retrieval-Augmented Generation: A Survey（小组pre，本篇笔记仅包含论文的第7部分）

论文下载链接: GraphRAG

Graph Retrieval-Augmented Generation: A Survey

检索增强生成RAG有效缓解了大语言模型的“幻觉”、缺乏特定领域知识和过时信息等问题。然而，数据库中不同实体之间复杂的关系结构给RAG带来了挑战。为了解决这一问题，研究人员提出了图检索增强生成（GraphRAG）。GraphRAG利用跨实体的结构信息来实现更精确更全面的检索，捕获知识之间的关系，并促进更精确和上下文感知的响应。

本文首次全面概述了GraphRAG方法，规范了GraphRAG工作流程，包括基于图的索引、图引导检索和图增强生成。然后，概述了每个阶段的核心技术和培训方法。此外，研究了 GraphRAG 的下游任务、应用领域、评估方法和工业用例。最后，探索了未来的研究方向，以激发进一步的探究并推动该领域的进展。

GraphRAG的框架如图：
在这里插入图片描述

7. Graph-Enhanced Generation

生成阶段是GraphRAG中的一个关键步骤，旨在将检索到的图数据与查询语句相集成，以提高响应质量。
在这里插入图片描述

如图，生成阶段可以分为四步：

  1. 根据下游任务选择生成器（对应7.1）；

  2. 检索到的图数据转换为生成器兼容的格式（对应7.2）；

  3. 生成器将查询语句和转换后的图数据作为输入来生成最终的响应；

  4. 根据生成增强技术进一步改善输出（对应7.3）。

7.1 生成器

生成器的选择通常取决于下游任务的类型。

7.1.1 GNNs—判别式任务

GNNs可以编码图数据，捕捉图结构中的节点特征和复杂关系，然后通过多层感知器处理该编码以生成预测结果。

这类生成器一般选用最经典的GNN模型，比如GCN和GAT等，也有一些使用GNN变体，比如HamQA。

7.1.2 LMs—判别式&生成式任务

对于仅编码的模型，比如BERT，LMs主要用途是判别式任务。类似于GNNs，LMs直接将输入文本编码，然后利用MLP将其映射到答案空间。

对于编码-解码模型和仅解码的模型，比如T5、GPT-4和LLaMA，LMs可以用于判别和生成式任务，直接处理文本输入并生成文本输出。

7.1.3 Hybrid Models—判别式&生成式任务

Hybrid Models是GNNs和LMs的结合，可以根据结合方式分为两类：

  1. 级联范式

    GNN处理图数据，将其结构和关系信息封装成LM可以理解的形式。然后将转换后的数据输入LM，从而生成最终的文本响应。其中，最为典型的例子是prompt tuning。

  2. 并行范式

    GNN和LM同时接收输入数据并协同工作以处理相同数据的不同方面。然后，通过另一个模型或一组规则来合并输出，以生成统一的响应，该响应集成了来自图形结构和文本内容的理解。

7.2 图结构

当使用GNN作为生成器时，图数据可以被直接编码。然而，当使用LM作为生成器时，需要将图数据转换为生成器适配的结构。

图结构主要包含两种：图语言和图嵌入。

7.2.1 图语言

图描述语言规定了一个统一的语法和语义框架，用于描述图中的节点和交互，可以分为五类，如图所示：
在这里插入图片描述

  1. 邻接/边表

    邻接表枚举每个顶点的直接邻居（比如KG-GPT），边表详细介绍图中的所有边。

  2. 自然语言

    将图数据转换为描述性且利于理解的语言，比如一些研究人员提出预先为每种类型的边定义一个自然语言模板，然后根据其类型将每条边的端点填充到相应的模板中。

  3. 类代码

    考虑到自然语言描述和其他一维序列本质上不足以直接表示图数据的二维结构，许多研究人员探索使用类似代码的格式来表示图结构，比如GML。

  4. 语法树

    语法树具有层次结构，也有拓扑顺序。该方法保留了更多的结构信息，增强了对图内在属性的理解和分析，比如GRAPHTEXT。

  5. 节点序列

    节点序列通常是使用预定义规则生成的，包含结构性知识，比如GNN-RAG。

由于不同图语言存在不同的特性，其选择可以显著影响下游任务的性能。

7.2.2 图嵌入

图语言方法转换的文本序列可能会导致上下文过长，从而超出LLM的处理限制。因此，LLM即使使用图语言也很难完全理解图形结构。

图嵌入方法将图表示为嵌入，核心挑战是如何将图嵌入与文本表示集成到统一的语义空间中。现有研究主要关注prompt tuning方法，还有一些研究使用FiD(Fusion-in-Decoder)的方法，首先将图数据转换为文本，使用基于LM的编码器对其进行编码。

7.3 生成增强

研究人员探索了各种生成增强技术来提高输出响应的质量。这些方法根据其应用阶段可以分为三类：生成前增强、生成中增强和生成后增强。

7.3.1 预生成增强技术

预生成增强技术和检索操作没有明确的界限。检索是指从原始图中检索知识以及合并和修剪检索到的知识，预生成增强就是检索操作的后半部分，即知识合并和剪枝。

一般而言，使用预生成增强技术的方法主要是在语义上丰富检索到的图数据。还有一些方法利用检索到的图数据重写查询，或者结合图数据之外的附加信息等。

7.3.2 中期生成增强技术

中期生成增强是指在生成过程中应用的技术，通常根据中间结果或者上下文检索调整生成策略，比如TIARA。

7.3.3 后期生成增强技术

后期生成增强是指在初始响应生成之后的增强技术，主要涉及整合多个生成响应以获得最终响应。

一些方法侧重于在不同条件或者输入下集成同一生成器的输出，还有一些方法选择组合不同生成器的响应。

微软多部门联合推出GraphRAG项目：全面性和多样性方面显著优于原生大模型RAG
强化学习曾小健
04-26 2467
传统的RAG方法适用于局部文本检索任务，但。
论文解读｜全球首篇 GraphRAG Survey 的官方解读来啦
m0_59163425的博客
09-26 3501
GraphRAG的工作流程主要分为以下三个主要步骤：图索引（G-Indexing）、图检索（G）和图增强生成（G-Generation）。图索引：图索引是GraphRAG的第一步，它涉及构建和索引知识图谱。这一步的目标是创建一个高效的索引，以便在后续步骤中能够快速检索到相关信息。在图索引阶段，首先需要构建知识图谱，这可以通过从外部数据源（如Wikipedia、DBpedia等）获取结构化数据来完成。然后，需要对知识图谱进行索引，以使其更易于查询和检索。
[今日Arxiv] GraphRAG, 微软，使用LLM自动化构建图谱并检索生成
qq_29883477的博客
09-10 1242
使用检索增强生成 (RAG) 从外部知识源检索相关信息使大型语言模型 (LLM) 能够回答来自私有和/或之前未见过的文档集合的问题。然而，对于针对整个文本语料库的全局问题，如“数据集中的主要主题是什么？”RAG 却失败了，因为这本质上是一个查询聚焦摘要 (QFS) 任务，而不是一个明确的检索任务。与此同时，先前的 QFS 方法无法扩展到典型 RAG 系统索引的文本数量。为了结合这些对比方法的优点，作者提出了一种图 RAG 方法，用于在私有文本语料库上进行基于问题的回答。
【学习笔记】Graph Retrieval-Augmented Generation: A Survey
weixin_45838549的博客
11-07 646
GraphRAG研究综述
Graph Retrieval-Augmented Generation: A Survey
weixin_44466434的博客
10-06 1114
1
技术动态 | GraphRAG图检索增强生成技术总结：从基本方法、实现模块到评估方法...
开放知识图谱
09-11 1426
转载公众号 | 老刘说NLP本次分享关于GraphRAG的一个有意思的综述，会有收获。供大家一起参考并思考。一、关于GrpahRAG的一个有意思的综述图检索增强生成(GraphRAG)的方法、技术和应用综述，《Graph Retrieval-Augmented Generation: A Survey》，https://arxiv.org/abs/2408.08921，这个工作有点意思，系统化地概...
telegram-qa-with-arxiv-papers：:robot::robot::robot:使用Telegram bot大规模使用arXiv论文回答问题
02-04
使用ArXiV论文进行电报质量检查-Paper2code 介绍 我们将使用transformers模型（ RoBERTa ）构建神经问答系统。 这种方法能够在几秒钟内对数百万个文档...要telegram-qa-with-arxiv-papers启动telegram-qa-with-arxiv
颜色分类leetcode-citation-sorted-arxiv-slack-bot:每天在arXiv上发表的顶级机器学习论文
07-06
我通过总结与每篇新论文相关的所有作者的引用来做到这一点，并使用总作者引用作为衡量标准对所有新发表的论文进行排序**。 以下是来自 arXiv 的 cs.CV、cs.LG 和 stat.ML 的两篇论文列表，使用该指标进行排序。 第一...
nlp-papers-with-arxiv：具有arXiv链接的NLP会议的统计数据和可接受的论文列表
02-03
压缩包文件 "nlp-papers-with-arxiv-master" 很可能是这个项目的源代码或数据仓库的主分支，包含所有相关的脚本、数据文件和可能的分析结果。使用者可以借此深入了解论文的统计信息，如被接受的论文数量、作者信息、...
谷歌师兄的leetcode刷题笔记-Drafting-Committee-90:起草委员会90来源
06-30
谷歌师兄的leetcode刷题笔记起草委员会 90 起草委员会 90 来源 这是我们用来在 HERMES 写关于非极化 DVCS 的高潮论文的 git 存储库。 该论文发表于 2012 年 - 可在 arXiv 上获得：并由 JHEP 出版。 根据 Google ...
paper-survey::books:日语机器学习（尤其是深度学习）以往研究和相关工作的调查
07-24
可以高速阅读论文的落合老师的格式很好，所以做个笔记。 --- layout: post title: "論文タイトル" date: YYYY-MM-DD categories: CV NLP Others --- ## 1. どんなもの？ ## 2. 先行研究と比べてどこがすごいの？ #...
从GraphRAG最新论文综述探究如何改进微软 GraphRAG
xx_nm98的博客
09-08 2163
最近北大、浙大等高校和蚂蚁集团等机构发布了一篇 GraphRAG 综述论文《Graph Retrieval-Augmented Generation: A Survey[1]》。本文首先对论文进行简单介绍，然后对论文中 GraphRAG 提到的三个阶段进行分别介绍，探索当前业界都在尝试哪些方法优化 GraphRAG，以及有哪些较为流行的GraphRAG框架。
GraphRAG综述来了~
zenRRan的博客
08-22 625
论文：Graph Retrieval-Augmented Generation: A Survey链接：https://arxiv.org/pdf/2408.08921研究背景这篇文章要解决的问题是如何利用图结构信息来增强大型语言模型（LLMs）的生成能力，解决LLMs在处理特定领域知识、实时更新信息和专有知识方面的局限性。研究难点包括：忽略文本之间的关系、冗余信息、缺乏全局信息等。相关工作有检索...
下一代 RAG 技术来了！微软正式开源 GraphRAG
stephen147的博客
07-08 7467
7 月 2 日，微软开源了 GraphRAG，一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。在 GitHub 上推出后，该项目快速获得了 2700 颗 star！开源地址：https://github.com/microsoft/graphrag通过 LLM 构建知识图谱结合图机器学习，GraphRAG 极大增强 LLM 在处理私有数据时的性能，同时具备连点成线的跨大型数据集的复杂语义问题推理能力。
技术动态 | GraphRAG：设计模式，挑战和落地指南
开放知识图谱
06-14 1686
转载公众号| 知识图谱科技GraphRAG (基于知识图谱检索增强生成) 通过将知识图谱 (KGs) 或图形数据库与大型语言模型 (LLMs) 集成，增强了传统的检索增强生成 (RAG) 方法。它利用图形数据库的结构化特性，将数据组织为节点和关系，以更高效准确地检索相关信息，并为生成响应提供更好的上下文，使LLMs感知到更多的信息。通过将知识图谱作为结构化的、领域特定的上下文或事实信息的来源，G...
你想要的GraphRAG的内容都在这了
lqfarmer的博客
07-08 1292
如上图所示，GraphRAG包括两个处理阶段，分别是：索引阶段和查询阶段。索引阶段利用LLM来自动化构建知识图谱，提取出对应的节点（如实体）、边（如关系）和协变量（如主张，claim），然后利用社区发现技术（如Leiden算法）对整个知识图谱进行子图划分，然后自底而上对子图利用LLM进行摘要、总结。针对特定查询，“全局答案（Global Search）”汇总所有与之相关的社区摘要最后汇总生成答案。通过LLM对文档中的实体、关系、主张进行提取，本质上是对文档的一种抽象式摘要。
大模型 | GraphRAG技术最新全面综述（二）图引导的检索、图增强的生成、GraphRAG应用和评估
老皮的博客
08-23 1989
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
源码解读 - 微软GraphRAG框架
stephen147的博客
07-09 2471
这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。 GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这一点恰好是常规 RAG 系统的短板。 说实话之前一直有在关注这个框架, 所以这两天花了点时间研究了一下源码, 结合之前的一些技术文档，本文主要
On Superresolution Effects in Maximum Likelihood Adaptive Antenna Arrays论文阅读
最新发布
yangqoor的博客
04-04 600
受限于天线数量（k）、信噪比（SNR）和阵列几何结构。传统方法需通过矩阵运算（如协方差矩阵求逆）计算最优权重，计算复杂度高，难以实时应用。论文提出的简化公式可直接通过标量运算预测分辨率，显著降低计算成本。论文通过分析Griffiths-Jim结构的自适应波束形成器（图1b），推导出。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值