GraphRAG的原理及代码实战（1）基本原理介绍（上）

原创 于 2025-11-27 10:32:09 发布 · 549 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain #python #llama #机器学习 #人工智能 #agent #LLM

1、基本介绍

GraphRAG通过利用大模型从原始文本数据中提取知识图谱来满足跨上下文检索的需求。该知识图将信息表示为互连实体和关系的网络，与简单的文本片段相比，提供了更丰富的数据表示。这种结构化表示使 GraphRAG 能够擅长回答需要推理和连接不同信息的复杂问题。

具体来看，GraphRAG 定义了一个标准化数据模型，整体框架由几个关键组件组成，分别用于表示文档、TextUnit、实体、关系和社区报告等实体。像传统RAG一样，GraphRAG 过程也涉及两个主要阶段：索引和查询。我们依次展开来进行讨论。

在索引（Indexing）过程中，输入的文本被分为可管理的块，称为TextUnits 。然后大模型从这些文本单元中提取实体、关系和声明，形成知识图。完整的Indexing流程如下图所示：

在这里插入图片描述

2、流程及原理解析

Step 1. 文本切分（Text Unit Splitting）

  • GraphRAG 需要处理的是一大篇文档或语料库。首先，它会将这些文档切分为 Text Units（文本单元），这些 Text Units 是对输入文档的细分，通常是按照段落、句子或固定长度的文本块来进行切分。
  • 这样做的目的是为了便于对文本内容进行分析，尤其是当需要进行 实体识别 和 关系抽取 时，能够精准地关联到文档中的具体上下文。

Step 2. 实体识别（Entity Extraction）

  • 在文本切分之后，GraphRAG 会使用 大模型（如 OpenAI GPT 或其他 LLM） 对每个 Text Unit 进行处理，提取其中的 实体。这些实体通常是指文档中出现的人物、地点、组织、概念等信息。
  • 实体识别的目的是构建 实体图谱（Entity Graph），将所有实体提取出来并为后续的关系挖掘和查询做准备。

Step 3. 关系挖掘（Relationship Extraction）

  • 关系挖掘是从文本中识别出实体之间的 关系，例如：谁与谁有关联、某个实体与另一个实体之间的关系是“属于”、“合作”、“对立”等。
  • 通过这种关系提取，GraphRAG 可以构建 关系图谱（Relationship Graph），这些关系将有助于后续的 查询引擎 理解和推理。

Step 4. 文本嵌入（Text Embedding）

  • 在识别了文本中的实体和关系之后，GraphRAG 会利用 嵌入模型（如 OpenAI 的 Embedding 模型）将文本和实体表示为向量（vectors）。这些向量不仅包括了文本的语义信息，还能为后续的检索和查询提供高效的表示。
  • 这些嵌入向量将存储在 向量数据库（如 LanceDB）中，为查询时提供快速的相似度搜索。

Step 5. 构建社区和层级结构（Community and Hierarchical Clustering）

  • 通过使用 图谱聚类算法（如 Leiden 算法），GraphRAG 会将不同的实体和关系分组，形成多个 社区（Community）。这些社区是根据实体之间的相似度或关系的密切程度进行划分的。
  • 这种分组帮助 GraphRAG 更好地理解不同知识领域的结构，为查询时提供更具层次性的上下文信息。

Step 6. 生成索引文件（Indexing）

  • 完成上述步骤后，所有的 实体、关系、社区报告、文本单元等信息都会存储在磁盘上的 Parquet 文件中。
  • 这些索引文件实际上就是构建好的 知识图谱，包括了文本内容、文本中涉及的实体和关系的结构化表示，并且这些文件是为后续的查询引擎和推理过程提供基础。

总的来说GraphRAG 的 索引阶段 是一个 多步骤 的过程，基本流程是：

  1. 文本切分（Text Units）
  2. 实体识别（Entity Extraction）
  3. 关系挖掘（Relationship Extraction）
  4. 文本嵌入（Text Embedding）
  5. 社区划分和层级结构（Clustering）
  6. 生成索引文件（Indexing）

整个过程的目的是将文档中的原始文本转化为可以进行检索和推理的结构化知识图谱。而 实体识别 和 关系挖掘 通常是在文本切分之后进行的，因为需要先确保文本已经切分成足够小的单元才能进行更精细的分析和抽取。

3、本地实现

3.1 使用pip安装graphrag

ounter(line
pip install graphrag

测试的graphrag版本为1.1.0

ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line
(graphrag) [root@local- graphrag]# pip show graphrag
Name: graphrag
Version: 1.1.0
Summary: GraphRAG: A graph-based retrieval-augmented generation (RAG) system.
Home-page:
Author: Alonso Guevara Fernández
Author-email: alonsog@microsoft.com
License: MIT
Location: /root/anaconda3/envs/graphrag/lib/python3.11/site-packages
Requires: aiofiles, azure-cosmos, azure-identity, azure-search-documents, azure-storage-blob, devtools, environs, fnllm, future, graspologic, httpx, json-repair, lancedb, matplotlib, networkx, nltk, numpy, openai, pandas, pyaml-env, pyarrow, pydantic, python-dotenv, pyyaml, rich, tenacity, tiktoken, tqdm, typer, typing-extensions, umap-learn
Required-by:

3.2 创建检索项目文件夹

ounter(line
mkdir -p ./sushi/input

在input文件夹中上传一个txt文件，该文件为需要创建知识图谱问答的文本文件。 这里以苏轼的百度百科的介绍内容为例，创建图谱问答。

3.3 初始化项目文件

ounter(lineounter(line
(graphrag) [root@local-7 graphrag]# graphrag init --root ./sushi
Initializing project at /root/szl/project/graphrag/sushi

初始化后，会在创建的检索项目文件夹下出现两个文件，一个是.env文件，和一个settings.yaml文件，是环境变量的设置文件：

  • 打开.env文件，填写openai API-KEY
  • 打开setting.yaml文件，填写模型名称和反向代理地址

3.4 GraphRAG索引Indexing过程执行

ounter(line
(graphrag) [root@local-7 graphrag]# graphrag index --root ./sushi

运行过程如下整个过程会比较长，与input里面的文件大小有关 输出：

ounter(line
All workflows completed successfully.

表示创建完成

3.5 输出结果信息

GraphRAG在索引阶段构建的知识图谱的确是以 Parquet 格式保存的！索引阶段的输出文件中，Parquet 文件存储了知识图谱的各个核心组成部分，例如实体、关系、社区信息以及文本单元等。这些文件共同组成了一个完整的知识图谱。索引阶段的主要输出内容如下：

  1. 实体表（Nodes Table）
  • 文件名：create_final_nodes.parquet
  • 内容：知识图谱中的实体节点（例如：人、地点、组织）。
  • 包含信息：
  • 实体的名称（如 “John Doe”）。
  • 实体的类别（如 “PERSON”, “ORGANIZATION”, “LOCATION”）。
  • 与社区相关的信息（如实体所属的社区）。
  • 实体的度数（degree），表示该实体在图谱中的连接数。
  1. 关系表（Relationships Table）
  • 文件名：create_final_relationships.parquet
  • 内容：知识图谱中实体之间的关系（即图谱的边）。
  • 包含信息：
  • 两个实体之间的关系描述（例如 “works for”, “lives in”）。
  • 关系的强度（数值化，用于衡量关系的显著性或重要性）。
  1. 嵌入向量表（Entity Embedding Table）
  • 文件名：create_final_entities.parquet
  • 内容：实体的语义嵌入，用于表示实体的语义信息。
  • 用途：支持语义搜索（通过嵌入计算实体之间的相似性）。
  1. 社区报告表（Community Reports Table）
  • 文件名：create_final_community_reports.parquet
  • 内容：社区的摘要信息。
  • 用途：支持全局搜索（通过社区信息回答关于数据集整体的问题）。
  1. 文本单元表（Text Units Table）
  • 文件名：create_final_text_units.parquet
  • 内容：被切分的原始文本单元（TextUnits）。
  • 用途：将知识图谱和原始文本结合，为 LLM 提供上下文支持。
  1. 社区表（Community Table）
  • 文件名：create_final_Communities.parquet
  • 内容：每个社区基本情况。
  1. 文件表（Documents Table）
  • 文件名：create_final_documents.parquet
  • 内容：用于记录所有参与知识图谱构建的文件情况。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

  • 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
  • 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
  • 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
  • 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

在这里插入图片描述

  • 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
  • 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
  • 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
  • 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：


三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

在这里插入图片描述

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

img

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

img

L5阶段：专题集丨特训篇 【录播课】

img
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！

AI_小站
关注
20、graphRAG的原理及代码实战（1）基本原理介绍（上）
Andy_shenzl的博客
02-07 1521
GraphRAG通过利用大模型从原始文本数据中提取知识图谱来满足跨上下文检索的需求。该知识图将信息表示为互连实体和关系的网络，与简单的文本片段相比，提供了更丰富的数据表示。这种结构化表示使 GraphRAG 能够擅长回答需要推理和连接不同信息的复杂问题。具体来看，GraphRAG 定义了一个标准化数据模型，整体框架由几个关键组件组成，分别用于表示文档、TextUnit、实体、关系和社区报告等实体。像传统RAG一样，GraphRAG 过程也涉及两个主要阶段：索引和查询。我们依次展开来进行讨论。
22、graphRAG的原理及代码实战（3）基本原理介绍（下）
Andy_shenzl的博客
02-25 1399
在GraphRAG的查询阶段，核心任务是基于构建好的知识图谱来检索相关信息并生成回答。具体来说，查询阶段会利用之前在 索引阶段 构建的所有实体、关系和社区报告等信息，结合用户的查询请求，自动选择最相关的上下文，并通过大语言模型（如GPT等）生成智能化的回答。GraphRAG检索方式有两种，本地搜索和全局搜索本地搜索：主要聚焦于回答与特定实体相关的问题，适用于需要理解输入文档中提到的特定实体细节的场景，比如查询 “洋甘菊的治疗特性是什么”，旨在从文档中提取与该特定实体紧密相关的信息。
GraphRAG原理及部署实战(GraphRAG系列第一篇)
2401_82469710的博客
09-03 671
RAG在大模型时代，被寄予了厚望，但在近一年多各大小公司的实施过程中，其效果远没有抖音中宣传的那么振奋人心，其原因是多方面的。
GraphRAG原理及部署实战
2301_81940605的博客
12-25 1297
RAG在大模型时代，被寄予了厚望，但在近一年多各大小公司的实施过程中，其效果远没有抖音中宣传的那么振奋人心，其原因是多方面的。这篇文章就RAG中的一个弱项–局部性来展开讨论。
18、RAG的原理及代码实战（1）基本原理
Andy_shenzl的博客
02-05 1500
数据准备支持多种格式的数据，包括 PDF、TXT、Word（DOC）和 Markdown（MD）文件。这些文件是知识的来源。切分（Chunking）将这些文件中的内容进行切分，将大段的文本切割成较小的、易于处理的块。这些块将作为后续步骤的基础。Embedding Model（嵌入模型）使用嵌入模型将切分后的文本块转换为向量表示。这些向量能够在高维空间中表示文本的语义信息。查询向量（Query Vector）用户提出问题，这个问题同样通过嵌入模型转换为查询向量。
21、graphRAG的原理及代码实战（2）基本原理介绍（中）
Andy_shenzl的博客
02-14 1469
前文中，graphRAG项目index索引建立完成后，会生成7个parquet文件。为什么用 Parquet 格式保存知识图谱？高效存储：知识图谱中的数据通常是结构化的，包含大量的实体、关系、嵌入等。Parquet 的列式存储能够显著减少磁盘占用，同时提高读取效率。快速读取：查询阶段需要快速加载实体、关系、嵌入等数据到内存中。Parquet 支持按需加载所需的列，避免了不必要的数据读取。
GraphRAG原理
大模型研究中心
02-21 987
向量和图谱是两种重要的知识载体，当然大模型时代参数可能是更重要的载体，但是目前来讲太大了，暂时还没有端侧的有效模型可用。向量的神奇之处在于它们各自以编码形式捕获了其对应文本的本质，向量的价值更多体现在相似度计算上，也就是你需要确定一段文本与另一段文本的相似度时。但是，如果你想理解向量内部的含义、了解文本中表示的事物、洞察其与更大规模语境的关系，那使用向量表示法就无能为力了。
GraphRAG-入门到实战：1-原理解析-过程详解
08-20 728
GraphRAG是一种基于知识图谱的检索增强生成系统，通过构建结构化知识图谱来提升RAG性能。其核心特点包括：1）使用节点和关系表示实体间的复杂关联；2）支持多种数据源转换；3）采用Parquet格式高效存储知识图谱数据（包括实体表、关系表、嵌入向量等）。系统提供索引和查询两阶段处理，支持全局和局部两种搜索模式，能有效结合LLM能力与结构化知识，适用于企业级知识管理场景。相比传统RAG，GraphRAG更具语义表达力和查询效率。
GraphRAG 工作原理逐步解析：从图创建到搜索的实战示例
素质云笔记
09-09 1232
GraphRAG 工作原理逐步解析：从图创建到搜索的实战示例
19、RAG的原理及代码实战（2）pipeline介绍
Andy_shenzl的博客
02-07 815
需要注意的是，在RAG检索时，所有切分的文本，不管其长度是多少，都会转换为一个词向量，也就是每一个切片是一个词向量表示。如果不方便注册openai模型时，可以考虑使用国内在线词向量模型，当然也可以使用ollama等工具部署本地的词向量模型。相似度计算是指使用查询向量在嵌入模型生成的向量空间中检索与问题最相关的文本块。有了向量表示后，需要使用向量来计算不同向量之间的相似度，计算的方法有很多，这里以余弦相似度为例来介绍。这里以硅基流动的在线模型为例，需要的也可以注册使用。编写获取向量之间相似度计算的函数。
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 2220
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
Python在机器学习中的模型训练
2509_93937153的博客
11-26 176
上周对比SVM和随机森林时，用Pipeline把预处理和训练步骤串起来，cross_val_score直接出十折交叉验证结果，整个实验可复现性极高。数据预处理这块绝对是重头戏。最近在做回归项目，r2_score和mean_squared_error这几个指标函数随调随用，省去了自己实现的麻烦。但平心而论，在常规业务场景下，从数据探索到模型上线的整个生命周期，Python的生态链确实做到了无缝衔接。很多库的默认参数就够用，想要精细调控又能深入底层，这种灵活性才是我们坚持用Python搞机器学习的根本原因。
Java总结进阶之路 （基础二 ）
2509_94006474的博客
11-24 753
提示：java总结学习之路。
Python自动化测试框架开发
最新发布
2509_93945719的博客
11-26 321
封装requests时踩过坑，最初简单包装成通用方法，后来发现不同模块需要不同的超时策略和重试机制。框架开发过程中最大的体会是：好的设计不是一次性完成的，而是在不断踩坑、重构中迭代出来的。记住，自动化测试的终极目标不是追求100%覆盖率，而是用最小成本快速发现质量问题。最直观的变化是测试周期从原来的3天缩短到8小时，版本发布再也不用全员熬夜了。pytest的夹具机制比unittest灵活太多，特别是parametrize参数化，能轻松实现数据驱动。决定动手搭个统一的测试框架，把乱七八糟的脚本规范起来。
15：00开始面试，15：06就出来了，问的问题有点变态。。。
2301_78843735的博客
11-24 573
【摘要】本文分享了一位软件测试工程师的求职经历和面试经验。文章首先描述了作者遭遇降薪后寻求新工作的过程，并反思了在面试中因基础知识不足而失利的情况。随后系统整理了软件测试岗位的常见面试知识点，涵盖16个技术栈：包括测试理论、Linux、MySQL、Web/API/App测试、Python基础、性能测试等核心内容。其中详细列举了各技术栈的高频面试题，如测试步骤设计、Linux命令使用、Python编程题、MySQL优化等。最后提到完整的面试宝典包含近200页内容，旨在帮助求职者高效准备面试，提升通过率。
收藏！软件测试面试题
2401_86705770的博客
11-26 209
作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。
Python全栈开发项目——AI智能聊天机器人
qiao_yue的博客
11-24 795
本项目实现了AI聊天功能，具有语音输入和聊天背景自定义等亮点功能
基于Python与Go构建云原生微服务自动化运维平台的架构设计思路实践策略与性能优化方法全流程解析
2501_94114213的博客
11-26 322
Python 提供灵活的任务调度与编排能力，Go 提供高并发、高吞吐的任务执行与采集能力。两者结合构建的云原生微服务运维平台能够在大规模环境下实现：自动化高可靠弹性扩展可观测高性能随着企业上云进程加速，Python + Go 的混合运维平台将成为云原生运维的标准实践方案。
Python在云原生微服务监控与自动化运维平台中日志处理与告警实践
2501_94182049的博客
11-23 621
开发效率高：快速实现日志解析、指标聚合和告警逻辑生态丰富：支持 Kafka、Prometheus、ElasticSearch、Celery 等易扩展与维护：模块化、异步、插件化设计性能优化灵活：批量、异步、缓存、序列化优化通过异步日志处理、实时指标聚合、告警策略和自动化运维集成，Python 能够支撑高并发云原生服务的监控需求，实现低延迟、高吞吐、可监控、可扩展的运维平台，为企业稳定运营和快速响应提供保障。
graphrag原理
01-03
### GraphRAG 工作原理 #### 创建图结构 使用 GraphRAG 的应用程序首先需要构建一个知识图谱。这个过程涉及将数据源中的信息转换成节点和边的形式，形成复杂的关系网络[^3]。 ```python from graph_rag import KnowledgeGraphBuilder builder = KnowledgeGraphBuilder() knowledge_graph = builder.build_from_documents(documents) ``` #### 数据索引化处理 一旦完成了图的创建，下一步是对这些图形数据进行索引化处理以便于后续查询操作。这一步骤确保了即使面对大规模的数据集也能够高效执行检索任务[^1]。 #### 查询解析与扩展 当接收到用户的自然语言询问时，系统会先对其进行解析，识别其中的关键概念并将它们映射到已有的知识图谱当中去。通过这种方式可以更好地理解问句背后的意图以及上下文环境[^2]。 #### 结果生成 基于上述分析得到的信息，在知识图谱内寻找最匹配的回答路径，并利用机器学习模型自动生成最终回复内容给用户。这种方法不仅提高了答案的相关性和准确性，还使得整个交互体验更加流畅自然。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值