GraphRAG原理及部署实战

最新推荐文章于 2025-06-25 08:00:00 发布
最新推荐文章于 2025-06-25 08:00:00 发布
阅读量1.8k 收藏 17
点赞数 26
CC 4.0 BY-SA版权
文章标签： 人工智能 LLM 自然语言处理 深度学习 RAG GraphRAG AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Langchain/article/details/143503525

RAG在大模型时代，被寄予了厚望，但在近一年多各大小公司的实施过程中，其效果远没有抖音中宣传的那么振奋人心，其原因是多方面的。这篇文章就RAG中的一个弱项–局部性来展开讨论。

一、RAG原理

图1描述了RAG的原理，用户输入了一个指令Instruct，RAG将其与Document store(向量库)中的预存文本进行匹配，然后将符合条件的筛选文本(Retrieved Documents)与指令Instruct，共同合成为一个增强型的Prompt，并将该增强型Prompt喂给大模型，

最终大模型根据此增强型Prompt，生成最终的Response。

图1 RAG原理图(来源于网络)

因为关于RAG的文章，网络上非常多，本文不再缀叙，因前后逻辑理解上的需要，只就RAG基本流程进行说明。需要更详细了解RAG原理，可参考以下两篇博客：

  • RAG技术架构与实现原理

       https://cloud.tencent.com.cn/developer/article/2436421

  • 用通俗易懂的方式讲解：一文详解大模型 RAG 模块

      https://blog.youkuaiyun.com/python1222\_/article/details/140124845

二、RAG的缺陷

目前RAG效果不佳的原因，一个是Document=>Chunks的切分策略，另一个是在向量库检索(Retrieval)与指令Instruct关联的文本(Chunks)策略。

Document=>Chunks的切分策略最大的问题，如何将一篇完整的文档，自动划分为数个具有完整语义的段落集合，但现有的工具，比如Langchain里提供的RecursiveCharacterTextSpliter、CharacterTextSpliter等，都是简单的武断的将文档分成若干个段落，具有完整语义的段落被拆分为数个chunks，或者一个chunk包含几个不同语义的段落，这样的数据预处理，自然会导致在LLM推理时效果不佳。

从向量库检索匹配指令Instruct的文本，存在只能匹配细粒度的问题，如果用户指令需要从宏观上去总结一篇文章，那传统的RAG的表现就很糟糕了，因为这是传统RAG技术架构上的先天缺陷导致。传统RAG是将一篇文章打碎拆分为几个小的章节(chunks)，然后embedding后存入向量库，在查询阶段，RAG将用户指令Instruct挨个在向量库与这些chunks的embedding向量进行相似度匹配，然后输出最匹配的k个作为prompt的上下文(context)，无论是在文档预处理进向量库阶段，还是用户查询阶段，都没家考虑各个chunk之间的关联，这就形成了普通RAG技术的先天设计缺陷。

所以，微软这些牛人就针对上面提到的这个RAG先天设计缺陷，提出了GraphRAG的理念和实现版本。

三、GraphRAG

论文：《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》

    源码：https://github.com/microsoft/graphrag

GraphRAG提出了一种回答总结类(summary)问题的算法思路，图2展示了GraphRAG算法的工作流程，包括索引建立阶段(index time)和查询阶段(query time)。

图2 GraphRAG算法工作流

  • 索引建立(index time)

索引建立阶段，属于数据预处理阶段，主要目的是从提供的文档集合中，提取出知识图谱(Knowledge Graph)，然后以聚类算法(Leiden)，将知识图谱分为数个社区(community)，并总结每个社区(community)所表达的含义(community summary)。

  • 查询(query time)

查询阶段，是建立在索引建立的阶段基础上，GraphRAG系统的终端用户，在此阶段加入进来，并向系统提供查询指令Instruct。GraphRAG将用户Instruct与每个社区的community summary进行相似度匹配，并将匹配结果作为最终喂给大模型的prompt的上下文(context)，以生成返回给用户的最终回答。

三、GraphRAG部署

GraphRAG部署分为安装包部署和源码部署，这里推荐源码部署，因为部署过程中，可能会遇到不可预知的问题，有些问题只能修改源码才能规避。

1、安装依赖环境

安装依赖管理工具poetry，poetry是比pip更完善依赖管理工具，只要通过poetry安装或删除的包，poetry都会对pyproject.toml文件进行更新。

安装graphrag依赖包

安装openai sdk

2、索引建立

2.1 配置.env文件

配置GRAPHRAG_API_KEY，该API_KEY是OpenAI、Qwen、GLM等大模型API的API Key，可自行去各大模型厂商的官网获取。

2.2 配置settings.yaml

配置llm->model和llm->api_base，使GraphRAG能访问到大模型 API接口

配置embeddings的llm->model和llm->api_base，配置方法同上。

2.3 搭建数据集

将数据集文本 flatten方式存放在input文件夹下，本文目的是展示搭建GraphRAG的流程，数据集只包含一个文本文件。

2.4 建立索引

运行poetry run poe index --root . ，

执行到create_base_entity_graph阶段，遇到错误，查日志发现是大模型服务器证书是自验证的证书，而不是CA这类权威机构颁发的证书。，如果所在网络没有报证书校验问题，可忽略下面跳过证书验证的部分。

为解决自验证证书问题，只能修改GraphRAG网络访问部分的代码，需要修改graphrag/llm/openai/create_openai_client.py、graphrag/query/oai/base.py和tiktoken/loader.py三个文件。

graphrag/llm/openai/create_openai_client.py需要修改：

graphrag/query/oai/base.py需要修改：

tiktoken/loader.py需要修改：

然后再执行构建索引指令，即可成功构建索引。

2.4 查询

执行以下指令，进行global方式查询。

global方式查询效果如下：

执行以下指令，进行local方式查询。

local方式查询效果如下：

至此，GraphRAG调试环境部署完成。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Langchain
关注
实战GraphRAG（一）：初步体验GraphRAG及其与RAG的对比
mtl1994的博客
07-16 1680
通过本文的初步体验，我们了解了GraphRAG与RAG的基本区别。GraphRAG利用知识图谱和社区摘要，提高了复杂信息处理和私有数据集推理的性能，虽然在搜索速度上略有不及，但其准确性和相关性表现更优。本文还通过实际示例展示了如何安装和配置GraphRAG，并执行全局搜索和本地搜索。GraphRAG在处理复杂查询和多源信息时展现了独特的优势，适合需要深度理解和综合分析的应用场景。未来，我们将进一步探讨其高级功能和优化方法。示例请参考GraphRAG文档。
19、RAG的原理及代码实战（2）pipeline介绍
Andy_shenzl的博客
02-07 675
需要注意的是，在RAG检索时，所有切分的文本，不管其长度是多少，都会转换为一个词向量，也就是每一个切片是一个词向量表示。如果不方便注册openai模型时，可以考虑使用国内在线词向量模型，当然也可以使用ollama等工具部署本地的词向量模型。相似度计算是指使用查询向量在嵌入模型生成的向量空间中检索与问题最相关的文本块。有了向量表示后，需要使用向量来计算不同向量之间的相似度，计算的方法有很多，这里以余弦相似度为例来介绍。这里以硅基流动的在线模型为例，需要的也可以注册使用。编写获取向量之间相似度计算的函数。
GraphRAG的实践
m0_57057282的博客
07-19 1122
好久没有体验新技术了，今天来玩一下GraphRAG顾名思义，一种检索增强的方法，利用图谱来实现RAG。
GraphRAG：知识图谱+RAG技术
HUANGXIN9898的博客
05-09 1182
在介绍RAG之前，先来介绍一下Langchain-chatchat的自定义Agent功能，由于在工作中遇到的业务场景，希望将预测模型（经典时序预测模型、深度时序预测模型、时序大模型）作为Agent供大模型去调用，因此基于Qwen2大模型基座，实现了自定义Agent功能。
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
2401_85325726的博客
06-15 1828
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮[自然语言处理]领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！底座包含模型模型参数大小训练token数训练最大长度是否可商用。
GraphRag实战篇：RAG+知识图谱，提升模型推理能力的大杀器，值得收藏！
热门推荐
xx_nm98的博客
10-16 1万+
经典RAG应用的范式与架构已经非常流行，我们可以在很短的时间内借助成熟框架开发一个简单能用的RAG应用。但是传统的RAG系统有个非常大的局限，即不善于处理复杂关系推理、总结性问题和多跳问题。因为传统RAG需要对文本进行分块，然后进行向量化存储，这种处理模式就会天然导致RAG在全局查询或总结上的表现不会太好。比如面对这样的问题，“《跨越鸿沟》这本书整体上讲了什么？请撰写一份2000字的总结”，传统RAG大概率会表现不及格。
GraphRAG本地部署（Xinference本地模型）+ neo4j可视化
2303_78780633的博客
08-09 5943
模型供应商可以选择ollama，Xinference等供应商，也可以用我们本地api封装的大模型。
GraphRag实战-GraphRag与Neo4j集成案例
llm_way的博客
12-01 2713
分享一次GraphRag实战案例，如何将graphrag结果集成到neo4j中，并通过langchain和llamaindex等框架实现local search及global search，希望对大家有帮助
【LLaMA 3实战：检索增强】11、LLaMA 3的RAG检索增强全景：从基础原理到GraphRAG实战与优化
最新发布
RickyIT的专栏
06-25 1017
本文探讨了LLaMA 3在检索增强生成（RAG）系统中的技术优势与优化方案。RAG通过动态检索外部知识库解决大模型的知识滞后问题，LLaMA 3凭借128K长上下文、指令优化和开源生态成为理想选择。文章详细解析了RAG架构，包括检索器优化（混合检索/重排序）、生成器提示工程等关键技术，并重点介绍了LLaMA 3的专属优化策略：GraphRAG知识图谱技术和LoRA微调方法。通过代码示例展示了LLaMA 3在复杂检索场景中的实践应用，为构建高效RAG系统提供了技术指导。
GraphRAG如何运行并部署
03-08
首先，用户提到了三个引用，分别是关于本地GraphRAG UI的教程、GraphRAG的原理及部署实战，以及本地部署全攻略。我需要综合这些信息，分步骤说明如何部署和运行GraphRAG。 首先，引用[1]提到Microsoft GraphRAG的...
GraphRAG实战：构建基于知识图谱的智能检索系统
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
06-10 775
本文深入探讨了GraphRAG（Graph-based Retrieval Augmented Generation）系统的实战应用，从系统架构、核心原理到具体实现，全方位展示如何构建一个基于知识图谱的智能检索系统。文章将结合实际案例，详细讲解系统设计、开发流程、性能优化等关键环节，为开发者提供完整的实践指南。知识图谱增强：利用图结构存储和检索知识上下文理解：提供更丰富的语义关联推理能力：支持复杂的知识推理私有数据处理：安全处理企业私有数据系统设计模块化架构可扩展性高可用性性能优化。
ollama轻松部署本地GraphRAG（避雷篇）
weixin_63866037的博客
08-18 9737
本篇文章主要介绍如何使用ollama本地部署微软的Graph RAG，，Graph RAG成为RAG一种新范式，对于全局总结性问题表现突出，由ollama一站式解决。但是中间也出现非常多的问题，比如Columns must be same length as key。跟着本篇文章使用ollama+mistral-nemo+mxbai-embed-larg`实现本地的GraphRAG的部署！
在 RAGFlow 中实践 GraphRAG
datageek的博客
08-07 5899
RAGFlow 0.9 版本发布，正式引入了对 GraphRAG 的支持。
大模型 | GraphRAG + Ollama 本地部署全攻略：避坑实战指南
老皮的博客
08-24 5503
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
GraphRAG + Ollama 本地部署全攻略：避坑实战指南
musicml的博客
07-24 8063
▼最近直播超级多，预约保你有收获—1—为什么要对 GraphRAG 本地部署？微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。如果对 GrapRAG 还不太熟悉的同学，可以看...
实战微软新一代RAG：GraphRAG
我是新手的博客
07-21 1941
1.它是基于LLM构建的知识图谱，在构建过程中会消耗大量的Token，其中本次测试2.9w花费了大概13w token。2.它支持2种搜索方法，局部和全局，全局效果最好，但是对模型的token处理能力有要求。3.框架仅支持OpenAI SDK协议的的LLM，国内目前只有千问和月之暗面可以，如果精力充足的网友也可以基于OpenAI的协议魔改自己想要接入的大模型，其实就是封装一个网关。
GraphRAG 本地部署、调试、到图形化展示过程记录
westlifeml的博客
09-30 2016
GraphRAG 是一种结构化的、分层的检索增强生成（RAG）方法，而不是使用纯文本片段的语义搜索方法。GraphRAG 过程包括从原始文本中提取出知识图谱，构建社区层级(这种结构通常用来描述个体、群体及它们之间的关系，帮助理解信息如何在社区内部传播、知识如何共享以及权力和影响力如何分布)，为这些社区层级生成摘要，然后在执行基于 RAG 的任务时利用这些结构。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2889
TensorFlow相关组件的安装
实战微软新一代RAG：GraphRAG强大的全局理解能力，碾压朴素RAG？
Python_cocola的博客
07-08 4378
大语言模型（LLM）是在大量数据上训练，但他们并不是在我们私有数据上训练，因此要想让LLM能够回答我们私有数据集上的问题，我们就得使用一种叫做检索增强生成（RAG）的技术。它的基本原理是加载我们的文档，然后将每个文档按照一定的规则，比如Token数量、字符数量、语义和层次分割等，将每个文档拆分为一个一个小片段（chunk）。然后使用嵌入技术对这些chunk生成embeding，存储到高维向量数据库中，生成索引Index。
graphrag原理
01-03
### GraphRAG 工作原理 #### 创建图结构 使用 GraphRAG 的应用程序首先需要构建一个知识图谱。这个过程涉及将数据源中的信息转换成节点和边的形式，形成复杂的关系网络[^3]。 ```python from graph_rag import KnowledgeGraphBuilder builder = KnowledgeGraphBuilder() knowledge_graph = builder.build_from_documents(documents) ``` #### 数据索引化处理 一旦完成了图的创建，下一步是对这些图形数据进行索引化处理以便于后续查询操作。这一步骤确保了即使面对大规模的数据集也能够高效执行检索任务[^1]。 #### 查询解析与扩展 当接收到用户的自然语言询问时，系统会先对其进行解析，识别其中的关键概念并将它们映射到已有的知识图谱当中去。通过这种方式可以更好地理解问句背后的意图以及上下文环境[^2]。 #### 结果生成 基于上述分析得到的信息，在知识图谱内寻找最匹配的回答路径，并利用机器学习模型自动生成最终回复内容给用户。这种方法不仅提高了答案的相关性和准确性，还使得整个交互体验更加流畅自然。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值