自然语言处理:第四十六章 GraphRAG 快速入门

最新推荐文章于 2025-05-30 09:18:00 发布
原创 最新推荐文章于 2025-05-30 09:18:00 发布 · 2k 阅读 · 50 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #语言模型 #nlp #chatgpt #机器学习 #知识图谱

项目链接:microsoft/graphrag: A modular graph-based Retrieval-Augmented Generation (RAG) system (github.com)

实现过程:



写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

GraphRAG 是微软提出来的复合RAG，有关于GraphRAG的细节介绍和实现过程可以参考我之前的文章: 自然语言处理:第四十五章 GraphRAG 实现过程 。 这次就跟着我一起去看看如何将GraphRAG应用到实战里。

官网其实给了三种GraphRAG的方式:

  1. 从pypi包安装
  2. 源码部署
  3. 利用GraphRAG加速

要求: python >= 3.10 & <= 3.12



一. python部署

1. 新建环境

conda create -n GraphRAG python=3.11
conda activate GraphRAG

2. 环境安装

pip install graphrag

3. 初始化项目

mkdir -p ./ragtest/input   # 建立一个ragtest/input 文件夹用于存放查询文件 ， ragtest 是工作目录
curl https://www.gutenberg.org/cache/epub/24022/pg24022.txt > ./ragtest/input/book.txt # 目前只支持txt和csv文件解析
python -m graphrag.index --init --root ./ragtest # 初始化项目文件夹， root后面输入的是项目文件夹，

然后在ragtest的文件夹下面会生成两个文件: .env 和 setting.yaml 文件


4. 修改配置文件

4.1 在.env文件里配置apikeys

改成你sk开头的apikeys就可以了

GRAPHRAG_API_KEY=sk-xxxxxxxxxxxxxxxxxxx


4.2 在setting.yaml文件修改url和model

由于配置文件里需要对应的修改对话模型和embedding模型，所以对应的有几个内容需要修改，下面这5个是比较常见需要修改的地方，如果其他的需要修改的可以参考官网Configuring GraphRAG Indexing (microsoft.github.io)

llm:
  model: deepseek-chat
  model_supports_json: false # recommended if this is available for your model.
  api_base: https://api.agicto.cn/v1  #  https://<instance>.openai.azure.com

embeddings:
  llm:
    model: text-embedding-3-small
    api_base: https://api.agicto.cn/v1


5. 构建GraphRAG的图谱

python -m graphrag.index --root ./ragtest

比较耗时，取决于你文件大小，运行成功后应该是这样：
在这里插入图片描述



6. 查询问题

GraphRAG提供了两种查询机制:

  1. Global: 问题的回答要基于所有文档的理解

    python -m graphrag.query \
--root ./ragtest \
--method global \
"What are the top themes in this story?"

  2. Local: 问题的回答基于某篇文档就能直接回答

    python -m graphrag.query \
--root ./ragtest \
--method local \
"Who is Scrooge, and what are his main relationships?"

官网解释:

在这里插入图片描述




二、源码部署

1. 新建环境

同上


2.下载源码

git clone https://github.com/microsoft/graphrag.git   
cd graphrag

3. 下载依赖并初始化

3.1 安装poetry资源包管理工具及相关依赖：
pip install poetry 
poetry install

3.2 初始化

poetry run poe index --init --root .

同样的也会生成会生成两个文件: .env 和 setting.yaml 文件


3.3 放入文件夹
mkdir ./input
curl https://www.xxx.com/xxx.txt > ./input/book.txt  #示例，可以替换为任何的txt文件


4. 修改配置文件

同上


5. 构建GraphRAG的图谱

poetry run poe index --root .

成功后截图：

⠋ GraphRAG Indexer
├── Loading Input (InputFileType.text) - 1 files loaded (0 filtered) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:00:00 0:00:00
├── create_base_text_units
├── create_base_extracted_entities
├── create_summarized_entities
├── create_base_entity_graph
├── create_final_entities
├── create_final_nodes
├── create_final_communities
├── join_text_units_to_entity_ids
├── create_final_relationships
├── join_text_units_to_relationship_ids
├── create_final_community_reports
├── create_final_text_units
├── create_base_documents
└── create_final_documents
🚀 All workflows completed successfully.



6. 查询问题

同样的也分为两种查询方式global 和local：

1Global: poetry run poe query --root . --method global "本文主要讲了什么"

  1. Local: poetry run poe query --root . --method local "本文主要讲了什么"

三. 利用GraphRAG加速

可以参考这一篇note: graphrag-accelerator/notebooks/1-Quickstart.ipynb at main · Azure-Samples/graphrag-accelerator (github.com)

自然语言处理:第八十一章 用Milvus向量数据库实现GraphRAG
victor_manches的博客
12-24 1187
本文带领大家深入了解了GraphRAG技术，这是一种融合知识图谱来强化RAG应用的创新手段。GraphRAG特别擅长处理那些需要跨信息片段进行多步骤推理和全面回答问题的复杂任务。结合Milvus向量数据库后，GraphRAG能够高效地在庞大的数据集中探索复杂的语义联系，从而得出更精准、更深刻的分析结果。这种强强联合的解决方案，使GraphRAG成为众多实际通用人工智能（GenAI）应用中的得力助手，为理解和处理复杂信息提供了强有力的支持。
自然语言处理:第四十四章 使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成
victor_manches的博客
09-16 942
图数据库需要这种实体，所以我们将创建一个名为 Entities 的自定义模型，继承自 BaseModel，我们希望提取实体，这可以通过提供这个属性 entities 来完成，它是一个字符串列表。首先我们要连接到数据库，我们将使用驱动方法，传入我们的 URI（存储在 Neo4j URI 环境变量中），还需要提供用户名和密码进行身份验证，并创建驱动实例。s 是起始节点，r 是结束节点，t 是关系。我们传入创建的文档，计算可能需要一些时间，即使是这个很小的例子，也花了我大约 3 分钟时间，所以稍等片刻。
探索GraphRag.Net：通过SiliconCloud加速图数据库应用开发
2401_85789772的博客
08-09 411
本文将介绍如何利用SiliconCloud平台快速体验GraphRag.Net，一个专为.NET环境设计的图数据库应用框架。我们将探讨GraphRag.Net的核心特性，并通过SiliconCloud的云服务加速开发流程，为开发者提供一个高效、易用的图数据库解决方案。图数据库的概念和优势常见的图数据库系统GraphRag.Net框架的特点为什么选择GraphRag.Net进行.NET开发SiliconCloud平台的服务和优势如何注册和使用SiliconCloud。
【LLM不可错过】GraphRAG和即刻上手的GraphRAG-accelerator都来了
SeqAI的博客
07-06 991
🪄 大模型 + 知识图谱 = 魔法。微软出品的GraphRAG 和 即用的加速器，让你总在技术最前沿✌️。
Poetry项目CLI命令全面指南：从项目创建到发布全流程
最新发布
gitblog_00817的博客
05-30 266
Poetry项目CLI命令全面指南：从项目创建到发布全流程 前言 Poetry作为现代Python项目管理的利器，其命令行接口(CLI)提供了从项目初始化到依赖管理再到打包发布的全套工具链。本文将系统性地介绍Poetry的核心CLI命令，帮助开发者掌握Python项目全生命周期管理的最佳实践。 全局选项概览 Poetry所有命令都支持以下全局选项，这些选项可以调整命令的默认行为： -v/-vv/...
解读 Graph RAG：从大规模文档中发现规律，找到相互关系，速度更快，信息更全面！
xx_nm98的博客
08-07 1554
利用大模型对实体、关系和声明的描述进行抽象总结，形成对概念的独立有意义的摘要。这一过程依赖于大模型对文本本身未明确表述的概念（如隐含关系）的理解能力。为每个社区生成摘要，这些摘要不仅有助于理解数据集的全局结构和语义，而且在没有具体查询的情况下，也可用于对整个文档集合的理解。社区摘要的生成考虑了节点的重要性和连接度，以确保社区内的关键信息被有效捕捉。
实战微软新一代RAG：GraphRAG强大的全局理解能力，碾压朴素RAG？
Python_cocola的博客
07-08 4409
大语言模型（LLM）是在大量数据上训练，但他们并不是在我们私有数据上训练，因此要想让LLM能够回答我们私有数据集上的问题，我们就得使用一种叫做检索增强生成（RAG）的技术。它的基本原理是加载我们的文档，然后将每个文档按照一定的规则，比如Token数量、字符数量、语义和层次分割等，将每个文档拆分为一个一个小片段（chunk）。然后使用嵌入技术对这些chunk生成embeding，存储到高维向量数据库中，生成索引Index。
实战微软新一代RAG：GraphRAG
我是新手的博客
07-21 1964
1.它是基于LLM构建的知识图谱，在构建过程中会消耗大量的Token，其中本次测试2.9w花费了大概13w token。2.它支持2种搜索方法，局部和全局，全局效果最好，但是对模型的token处理能力有要求。3.框架仅支持OpenAI SDK协议的的LLM，国内目前只有千问和月之暗面可以，如果精力充足的网友也可以基于OpenAI的协议魔改自己想要接入的大模型，其实就是封装一个网关。
自然语言处理:第四十四章 微软开源的GraphRAG爆火，Github Star量破万，生成式AI进入知识图谱时代？(转载)
victor_manches的博客
09-16 1191
这里，这两个答案都是准确的。近日，Neo4j 公司 CTO Philip Rathle 发布了一篇标题为《GraphRAG 宣言：将知识加入到生成式 AI 中》的博客文章，Rathle 用通俗易懂的语言详细介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势等。现如今，RAG 是一种使用真实世界信息改进 LLM 输出的技术，是大多数基于 LLM 的工具的重要组成部分，一般而言，RAG 使用向量相似性作为搜索，称之为 Baseline RAG（基准RAG）。
【大模型】检索增强生成：从RAG、GraphRAG到LightGAG
酒酿小圆子呀～
01-23 1245
自 ChatGPT 发布以来，大型语言模型（Large Language Model，LLM，大模型）得到了飞速发展，它在处理复杂任务、增强自然语言理解和生成类人文本等方面的能力让人惊叹，几乎各行各业均可从中获益。为了解决以上通用大模型问题，方案就应运而生。
从原生检索到异构图：Native RAG、GraphRAG 与 NodeRAG 架构全景解析
朴拙科技的博客
04-25 1172
Retrieval-Augmented Generation (RAG) 是将检索到的外部知识与大语言模型 (LLM) 输出相结合的技术。Native RAG（基线 RAG）使用向量索引和相似度检索；GraphRAG则在此基础上引入知识图谱结构，以捕捉实体间关系并指导检索与生成；RAG 效果优化主要包含检索器精炼、索引策略与提示工程等技术；NodeRAG进一步将异构图结构融入 RAG 流程，实现多层次、多类型节点的无缝整合，提升多跳推理能力。以下各节分别阐述它们的框架与组成，并给出 Python 示例。
Graph RAG 体验 demo
jiangbo721的博客
07-26 1689
赫留金是社区中一个引人注目的人物，他在一次事件中被狗咬伤，成为受害者。他的遭遇不仅引起了社区的关注，还激发了他寻求赔偿和正义的决心。赫留金在事件中表现出强烈的愤怒和揭露真相的决心，尽管他也成为了人群嘲笑的对象。此外，赫留金的受伤和后续行动引起了奥楚蔑洛夫的关注，并成为事件的关键人物。他的角色在事件的发展中起到了至关重要的作用，推动了整个事件的进展。赫留金是社区中的一个关键人物，他遭受了不公正的待遇。具体来说，他的手指被一只白毛小猎狗咬伤，这一事件在社区中引起了关注。赫留金在人群中展示他受区中的弱势地位。
微软GraphRAG实战解析：全局理解力如何超越传统RAG
2401_84204413的博客
10-07 1657
大语言模型（LLM）是在大量数据上训练，但他们并不是在我们私有数据上训练，因此要想让LLM能够回答我们私有数据集上的问题，我们就得使用一种叫做检索增强生成（RAG）的技术。它的基本原理是加载我们的文档，然后将每个文档按照一定的规则，比如Token数量、字符数量、语义和层次分割等，将每个文档拆分为一个一个小片段（chunk）。然后使用嵌入技术对这些chunk生成embeding，存储到高维向量数据库中，生成索引Index。
Python包管理之poetry的使用
热门推荐
门牙的沉思录
03-25 1万+
  poetry是一个Python虚拟环境和依赖管理的工具，之前用pipenv，最近学习httprunner时，接触了poetry。poetry和pipenv类似，另外还提供了打包和发布的功能。官方文档：https://python-poetry.org/docs/ 安装 macOS或Linux curl -sSL https://raw.githubusercontent.com/python-...
GraphRAG 本地部署、调试、到图形化展示过程记录
westlifeml的博客
09-30 2078
GraphRAG 是一种结构化的、分层的检索增强生成（RAG）方法，而不是使用纯文本片段的语义搜索方法。GraphRAG 过程包括从原始文本中提取出知识图谱，构建社区层级(这种结构通常用来描述个体、群体及它们之间的关系，帮助理解信息如何在社区内部传播、知识如何共享以及权力和影响力如何分布)，为这些社区层级生成摘要，然后在执行基于 RAG 的任务时利用这些结构。
喂饭教程！全网首发对小白友好的GraphRAG查询流程全揭秘
python123456_的博客
11-19 1122
GraphRAG 在 query 时也会根据问题使用不同的聚类层级。但不同的是，GraphRAG 定义了两种差异非常大的 query 方式。一种是 Local Search ，用于处理具体的、相对关注细节的问题。这种 query 时使用的上下文内容主要是知识图谱中的内容和原始的 Text Units。把这些信息合并后，一次构建上下文调用 LLM 进行推理，并且一次 Local Search 只会调用一次 LLM，但是因为要送给LLM的信息比较多，所以也比正常的RAG要花更多token。
NLTK vs LLM：GraphRAG实体提取方法深度对比
2401_85325726的博客
07-30 1353
本文首先介绍了GraphRAG如何配置使用NLTK进行实体提取。接着展示了对英国作家狄更斯的小说《圣诞颂歌》使用NLTK进行实体提取的测试。通过索引整个文本并分析其实体，文章展示了NLTK在处理长文本和提取多种类型实体方面的优势。测试结果显示，NLTK提取了约249个实体，并且通过多个问题的查询展示了其详细和全面的提取效果。然后，文章比较了使用LLM进行实体提取的效果。虽然NLTK有成本优势，但是处理速度较长，且可能存在重复的实体信息，而且描述信息不如LLM的完整。
最佳实践｜本地跑GraphRAG
Python_cocola的博客
09-09 6065
为在本地环境中部署GraphRAG，需配置两种模型：一是用于实体提取与摘要的，二是用于数据向量化的。当前，GraphRAG采用的是OpenAI提供的模型，故部署的核心在于选用兼容OpenAI API标准的模型以实现替代。今天带大家一起沉浸式体验，并且在支持中文graph构建上做了一些优化改进。
15:39:53,54 graphrag.callbacks.file_workflow_callbacks INFO Error executing verb "generate_text_embeddings" in generate_text_embeddings: 'NoneType' object is not iterable details=None 15:39:53,59 graphrag.index.run.run ERROR error running workflow generate_text_embeddings
03-29
<think>好的，我现在需要帮助用户解决在生成文本嵌入时出现的'NoneType'对象不可迭代的错误。这个问题通常发生在尝试迭代一个值为None的变量时。首先，我需要回忆一下用户提供的引用内容，特别是引用[1]和[2]。 根据引用[1]，当函数返回None而不是预期的可迭代对象时，比如返回元组或列表，就会引发这个错误。例如，如果函数没有显式返回任何值，Python默认返回None，而当用户试图将None解包到多个变量时，就会报错。引用[2]中的例子也说明了类似的情况，函数在条件不满足时返回None，导致赋值失败。 现在，用户的问题出现在生成文本嵌入的GraphRAG回调文件工作流中。可能的场景是，某个函数在生成嵌入后没有正确返回结果，或者在某些条件下返回了None。接下来我需要考虑常见的导致此错误的原因和解决方法。 首先，检查相关函数是否在所有路径都有返回值。例如，在生成嵌入的函数中，是否有条件分支（如异常处理或特定条件判断）导致函数没有执行到return语句，从而返回None。需要确保所有可能的代码路径都返回可迭代对象，如列表或元组。 其次，检查是否有外部API调用或库函数返回了None。例如，如果使用第三方库生成嵌入，而该库在某些情况下（如网络错误、无效输入）返回None，那么后续的迭代操作就会失败。此时需要添加错误处理，确保即使返回None，程序也能妥善处理，比如提供默认值或抛出明确的异常。 另外，还要查看变量是否正确初始化。例如，可能在某个步骤中，变量未被正确赋值，仍然保持None，随后被传递到需要迭代的地方。例如，在回调函数中，某个中间步骤的变量未被正确更新，导致后续处理失败。 接下来，按照用户提供的解决步骤，逐步分析可能的解决方案： 1. **检查函数返回值**：确保生成嵌入的函数在所有条件下都返回可迭代对象，比如列表或字典，而不是None。例如，在引用[1]的例子中，函数需要返回list(set(...))，如果没有正确处理输入，可能返回None。 2. **异常处理**：在调用可能返回None的函数时，使用try-except块捕获异常，或者在赋值前检查返回值是否为None。例如，在解包返回值之前，先判断是否为None，避免直接解包。 3. **调试与日志**：添加打印语句或日志记录，跟踪函数返回值，确认在出错时的返回值是否为None。这有助于定位问题发生的具体位置。 4. **初始化变量**：确保所有变量在使用前都被正确初始化，避免在未赋值的情况下被使用。例如，在回调函数中，某些变量可能在未正确初始化时被传递到下游处理。 5. **第三方库检查**：如果使用了外部库生成嵌入，查阅其文档，确认在错误情况下返回的值，并据此调整代码逻辑，处理可能的None返回值。 结合用户提供的代码示例，比如在引用[1]中的merge_two_list函数，正确的做法是确保函数返回一个列表，而不是None。类似地，在生成嵌入的函数中，可能存在类似的问题，需要确保所有代码路径都有正确的返回语句。 此外，用户的问题可能出现在回调函数中，当处理文件工作流时，某些步骤未能正确传递数据，导致后续处理接收到None。例如，在GraphRAG的处理流程中，某个回调函数在处理文件时未能正确生成嵌入，返回了None，导致下一个步骤尝试迭代该结果时出错。 总结可能的问题点： - 生成嵌入的函数存在未处理的异常，导致返回None。 - 函数在某些条件下（如空输入、错误状态）未返回有效值。 - 变量在传递过程中被意外设置为None。 - 第三方库或API调用返回了None，未做检查。 解决步骤建议： 1. **审查相关函数**：检查生成嵌入的函数，确保所有分支都有返回语句，并返回适当的可迭代对象。例如，添加默认返回空列表或元组，避免返回None。 2. **添加条件检查**：在调用函数后，检查返回值是否为None，再进行后续操作。例如： ```python result = generate_embeddings(text) if result is None: # 处理错误情况 else: # 正常处理 ``` 3. **异常捕获**：使用try-except块来捕获可能的错误，并处理异常情况，避免程序崩溃。 4. **日志记录**：在关键步骤添加日志，记录函数输入输出，帮助定位问题发生的位置。 5. **单元测试**：编写测试用例，模拟可能出错的场景，验证函数在各种情况下的返回值是否符合预期。 通过以上步骤，应该能够定位并解决'NoneType'对象不可迭代的问题。</think>要解决生成文本嵌入时出现的`'NoneType' object is not iterable`错误，需重点关注**函数返回值**和**变量初始化**问题。以下是具体步骤分析： --- ### 一、错误原因分析 1. **函数未返回有效值** 若生成嵌入的函数存在条件分支未覆盖的情况（如异常处理未返回默认值），可能导致返回`None`。例如： ```python def generate_embeddings(text): if not text: # 空文本直接返回None return None # 正常处理逻辑... ``` 当`text`为空时返回`None`，后续迭代操作会触发错误。 2. **变量传递异常** 在回调函数中，若中间步骤未正确传递数据（如文件读取失败未初始化变量），可能导致下游操作接收`None`。 3. **第三方库返回异常值** 若使用的嵌入生成库在输入无效或网络错误时返回`None`，需捕获并处理此类情况。 --- ### 二、解决方案 #### 步骤1：检查生成嵌入的函数返回值 确保函数**所有代码路径**均返回可迭代对象（如列表、元组）： ```python def generate_embeddings(text): if not text: return [] # 返回空列表而非None # 正常逻辑 return embeddings_list # 确保此处是可迭代对象 ``` #### 步骤2：添加返回值类型检查 在调用生成嵌入的函数后，验证返回值是否为`None`： ```python embeddings = generate_embeddings(text) if embeddings is None: raise ValueError("生成嵌入失败：返回值为None") # 正常处理embeddings ``` #### 步骤3：异常捕获与日志记录 使用`try-except`捕获潜在错误，并记录上下文信息： ```python try: embeddings = generate_embeddings(text) for item in embeddings: # 若embeddings为None会触发TypeError process(item) except TypeError as e: print(f"错误：尝试迭代None对象 - {e}") # 回退逻辑（如加载默认嵌入） except Exception as e: print(f"未知错误：{e}") ``` #### 步骤4：初始化变量并设置默认值 在回调函数中，强制初始化关键变量： ```python def file_workflow_callback(file_data): embeddings = [] if file_data is not None: embeddings = generate_embeddings(file_data) # 确保embeddings始终是列表 return {"embeddings": embeddings or []} # 若为None则返回空列表 ``` #### 步骤5：检查第三方库行为 查阅嵌入生成库的文档，确认其返回值策略。例如，若库在失败时返回`None`： ```python from embedding_library import get_embedding def safe_generate_embeddings(text): try: result = get_embedding(text) return result if result is not None else [] except ConnectionError: return [] # 网络错误时返回空列表 ``` --- ### 三、代码示例修正 假设原始问题代码类似于： ```python def get_text_embeddings(text): if len(text) < 10: # 假设对短文本不处理 return None return [compute_embedding(text)] # 调用时直接解包 embeddings = get_text_embeddings("short") for emb in embeddings: # 若embeddings为None则报错 print(emb) ``` **修正后：** ```python def get_text_embeddings(text): if len(text) < 10: return [] # 返回空列表 return [compute_embedding(text)] embeddings = get_text_embeddings("short") for emb in embeddings: # 安全迭代 print(emb) ``` --- ### 四、相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值