收藏级!RAGFlow知识图谱全攻略:从GraphRAG原理到多路召回实战

该文章已生成可运行项目,

今天我们将继续学习另一种高级配置 —— 提取知识图谱(use_graphrag)

img

该特性自 v0.16.0 起引入,开启该配置后,RAGFlow 会在当前知识库的分块上构建知识图谱,构建步骤位于数据抽取和索引之间,如下所示:

img

知识图谱在涉及嵌套逻辑的多跳问答中尤其有用,当你在对书籍或具有复杂实体和关系的作品进行问答时,知识图谱的表现优于传统的抽取方法。

请注意,构建知识图谱将消耗大量 token 和时间。

开启 GraphRAG 任务


GraphRAG 的逻辑位于任务执行器的 do_handle_task() 函数中:

async def do_handle_task(task):
  # ...  elif task.get("task_type", "") == "graphrag":
    # 绑定聊天模型    chat_model = LLMBundle(task_tenant_id, LLMType.CHAT, llm_name=task_llm_id, lang=task_language)
    # 运行 GraphRAG 逻辑    graphrag_conf = task["kb_parser_config"].get("graphrag", {})    with_resolution = graphrag_conf.get("resolution", False)    with_community = graphrag_conf.get("community", False)    async with kg_limiter:      await run_graphrag(task, task_language, with_resolution, with_community, chat_model, embedding_model, progress_callback)    return      

这个函数我们之前已经详细学习过,但是跳过了 GraphRAG 相关的逻辑,今天我们就继续来看下这个 run_graphrag() 的实现细节:

async def run_graphrag(row: dict, language, with_resolution: bool, with_community: bool, chat_model, embedding_model, callback):
  # 检索原始分块列表  chunks = []  for d in settings.retrievaler.chunk_list(...):    chunks.append(d["content_with_weight"])
  # 使用 LightKGExt 或 GeneralKGExt 生成子图  subgraph = await generate_subgraph(    LightKGExt if row["kb_parser_config"]["graphrag"]["method"] != "general" else GeneralKGExt,    ...    row["kb_parser_config"]["graphrag"]["entity_types"],    ...  )
  # 将子图合并到知识图谱中  subgraph_nodes = set(subgraph.nodes())  new_graph = await merge_subgraph(...)
  # 实体消歧  if with_resolution:    await resolve_entities(new_graph, subgraph_nodes, ...)
  # 社区报告  if with_community:    await extract_community(new_graph, ...)

整体的逻辑还是比较清晰的,首先通过 retrievaler.chunk_list() 检索出该文档原始的分块列表,然后基于配置的实体类型生成子图,然后将子图合并到知识图谱中,最后进行实体消歧和社区报告的生成。

和 RAPTOR 任务一样,开启知识图谱也需要先执行一次标准的分块策略,生成原始的分块列表,在完成第一个任务后,会再生成一个知识图谱类型的任务,执行上面的代码逻辑。

提取知识图谱涉及的配置参数如下:

  • 实体类型(entity_types) - 指定要提取的实体类型,默认类型包括:组织(organization)、人物(person)、事件(event)和类别(category),可根据具体的知识库内容添加或删除类型;

  • 方法(method) - 用于构建知识图谱的方法,RAGFlow 支持两种方法:

    • 通用(general):使用 GraphRAG 提供的提示词提取实体和关系。
    • 轻量(light):使用 LightRAG 提供的提示词来提取实体和关系。此选项消耗更少的 tokens、更少的内存和更少的计算资源。
  • 实体消歧(resolution) - 是否启用实体消歧。启用后,解析过程会将具有相同含义的实体合并在一起,从而使知识图谱更简洁、更准确。例如 “2025” 和 “2025 年” 或 “IT” 和 “信息技术”,“特朗普总统” 和 “唐纳德·特朗普” 等。

  • 社区报告生成(community) - 是否生成社区报告。在知识图谱中,社区是由关系连接的实体簇,可以让大模型为每个社区生成摘要,这被称为 社区报告

构建子图


构建子图的逻辑位于 generate_subgraph() 函数:

async def generate_subgraph(...):
  # 检查 doc_id 是否已经构建过子图  contains = await does_graph_contains(tenant_id, kb_id, doc_id)  if contains:    return None
  # 创建提取器实例,提取实体和关系  ext = extractor(llm_bdl, language=language, entity_types=entity_types)  ents, rels = await ext(doc_id, chunks, callback)
  # 将实体和关系构建成 NetworkX 子图  subgraph = nx.Graph()  for ent in ents:    ent["source_id"] = [doc_id]    subgraph.add_node(ent["entity_name"], **ent)  for rel in rels:    rel["source_id"] = [doc_id]    subgraph.add_edge(      rel["src_id"],      rel["tgt_id"],      **rel,    )
  # 将子图序列化为 JSON 字符串,作为分块存到文档库中  subgraph.graph["source_id"] = [doc_id]  chunk = {    "content_with_weight": json.dumps(      nx.node_link_data(subgraph, edges="edges"), ensure_ascii=False    ),    "knowledge_graph_kwd": "subgraph",    "kb_id": kb_id,    "source_id": [doc_id],    "available_int": 0,    "removed_kwd": "N",  }  cid = chunk_id(chunk)
  # 首先根据 doc_id 删除旧的子图  await trio.to_thread.run_sync(    lambda: settings.docStoreConn.delete(      {"knowledge_graph_kwd": "subgraph", "source_id": doc_id}, search.index_name(tenant_id), kb_id    )  )
  # 然后插入新的子图  await trio.to_thread.run_sync(    lambda: settings.docStoreConn.insert(      [{"id": cid, **chunk}], search.index_name(tenant_id), kb_id    )  )
  return subgraph

关键步骤已经由注释标出,这里不再赘述。主要关注三点:

  1. 支持两种提取器,GeneralKGExtLightKGExt,提取的步骤差不多(都是经过三步:首次抽取 -> 二次抽取 -> 判断是否抽取完毕),只是使用的提示词不一样而已;
  2. 子图是通过 NetworkX 库构建的,这是一种 Python 中常用的图论库,可以方便地创建、操作和分析图结构;
  3. 子图会序列化为 JSON 字符串,作为分块存到文档库中,可以在 ES 中通过 "knowledge_graph_kwd": "subgraph" 条件检索出来:

img

感兴趣的可以看下这个 content_with_weight 字段,里面包含从文档中抽取出来的完整子图。

合并子图


上面一步生成的是文档级别的子图,接下来,将该子图合并到全局知识图谱中:

async def merge_subgraph(tenant_id: str, kb_id: str, subgraph: nx.Graph, ...):
  # 检索旧的全局知识图谱  change = GraphChange()  old_graph = await get_graph(tenant_id, kb_id, subgraph.graph["source_id"])  if old_graph is not None:    # 如果旧图谱存在,则将文档子图合并到全局图谱中    new_graph = graph_merge(old_graph, subgraph, change)  else:    # 如果旧图谱不存在,则直接使用文档子图作为新的全局图谱    new_graph = subgraph    change.added_updated_nodes = set(new_graph.nodes())    change.added_updated_edges = set(new_graph.edges())
  # 计算 PageRank  pr = nx.pagerank(new_graph)  for node_name, pagerank in pr.items():    new_graph.nodes[node_name]["pagerank"] = pagerank
  # 保存新的全局图谱  await set_graph(tenant_id, kb_id, embedding_model, new_graph, change, callback)
  return new_graph
合并的逻辑比较简单,就是遍历文档子图中的所有节点和边,判断是否已经存在于全局图谱中,如果存在,就将 description、keywords、source_id 等属性拼接到全局图谱中。此外,还会使用 NetworkX 的 pagerank() 方法 对合并后的图谱计算 PageRank 值,为每个节点添加 pagerank 属性,用于衡量节点的重要性。

PageRank 最初被设计为一种对网页进行排名的算法,在 NetworkX 中,是根据指向该节点的边的个数来计算节点的排名,表示该实体在知识图谱中的重要性。

开启实体消歧


实体消歧的逻辑位于 graphrag/entity_resolution.py 文件:

class EntityResolution(Extractor):
  async def __call__(self, graph: nx.Graph, subgraph_nodes: set[str], ...) -> EntityResolutionResult:
    # 将节点按照实体类型分组    nodes = sorted(graph.nodes())    entity_types = sorted(set(graph.nodes[node].get('entity_type', '-') for node in nodes))    node_clusters = {entity_type: [] for entity_type in entity_types}    for node in nodes:      node_clusters[graph.nodes[node].get('entity_type', '-')].append(node)
    # 在同类型实体中生成所有可能的配对组合    candidate_resolution = {entity_type: [] for entity_type in entity_types}    for k, v in node_clusters.items():      candidate_resolution[k] = [        (a, b) for a, b in itertools.combinations(v, 2)         if (a in subgraph_nodes or b in subgraph_nodes) and self.is_similarity(a, b)      ]
    # 并发调用大模型进行批量消歧,大模型针对每一对实体输出明确的 Yes/No 判断    # 默认一批 100 对实体,最多并发 5 个任务    resolution_result = set()    async with trio.open_nursery() as nursery:      for candidate_resolution_i in candidate_resolution.items():        for i in range(0, len(candidate_resolution_i[1]), resolution_batch_size):          candidate_batch = candidate_resolution_i[0], candidate_resolution_i[1][i:i + resolution_batch_size]          nursery.start_soon(limited_resolve_candidate, candidate_batch, resolution_result, resolution_result_lock)
    # 将消歧结果构建成新的图谱    change = GraphChange()    connect_graph = nx.Graph()    connect_graph.add_edges_from(resolution_result)    async with trio.open_nursery() as nursery:      for sub_connect_graph in nx.connected_components(connect_graph):        merging_nodes = list(sub_connect_graph)        nursery.start_soon(limited_merge_nodes, graph, merging_nodes, change)
    return EntityResolutionResult(      graph=graph,      change=change,    )  

实体消歧所使用的提示词核心部分如下,主要是输出部分使用的一些特殊符号,方便程序解析结果:

问题:在判断两个产品是否相同时,你应该只关注关键属性,忽略噪声因素。
演示 1: 产品A的名称是:"电脑",产品B的名称是:"手机" 不,产品A和产品B是不同的产品。问题 1: 产品A的名称是:"电视机",产品B的名称是:"电视"问题 2: 产品A的名称是:"杯子",产品B的名称是:"马克杯"问题 3: 产品A的名称是:"足球",产品B的名称是:"橄榄球"问题 4: 产品A的名称是:"钢笔",产品B的名称是:"橡皮擦"
使用产品的领域知识来帮助理解文本,并按以下格式回答上述4个问题:对于问题i,是的,产品A和产品B是同一个产品。或者 不,产品A和产品B是不同的产品。对于问题i+1,(重复上述程序)################输出:(对于问题 <|>1<|>&&&&,产品A和产品B是同一个产品。)##(对于问题 <|>2<|>&&&&,产品A和产品B是同一个产品。)##(对于问题 <|>3<|>&&&&,产品A和产品B是不同的产品。)##(对于问题 <|>4<|>&&&&,产品A和产品B是不同的产品。)##

生成社区报告


生成社区报告的逻辑位于 graphrag/general/community_reports_extractor.py 文件:

class CommunityReportsExtractor(Extractor):
  async def __call__(self, graph: nx.Graph, callback: Callable | None = None):
    # 使用 Leiden 算法来发现图中的社区结构    # 将社区组织成一个多层级的树形结构,每个层级包含多个社区    communities: dict[str, dict[str, list]] = leiden.run(graph, {})
    # 遍历每一个社区,从图中提取当前社区中的所有实体和关系的描述,调用大模型生成社区报告    async with trio.open_nursery() as nursery:      for level, comm in communities.items():        logging.info(f"Level {level}: Community: {len(comm.keys())}")        for community in comm.items():          nursery.start_soon(extract_community_report, community)
    return CommunityReportsResult(      structured_output=res_dict,      output=res_str,    )       

整个流程比较简单,分为两步。第一步,使用 Leiden 算法 发现图中的社区结构。

在网络科学或图论中,社区(Community) 是指网络中的一组节点,其核心特征是:社区内部的节点之间连接紧密,而与社区外部节点的连接相对稀疏,这种 “内密外疏” 的结构是社区的核心标志,反映了网络中节点的聚类性和关联性。Leiden 算法是一种在图数据中识别社区结构的高效算法,由 Traag 等人在莱顿大学于 2018 年提出。它在经典的 Louvain 算法 基础上进行了改进,解决了 Louvain 算法中可能出现的 “分辨率限制” 和社区划分不精确的问题,因此在复杂网络分析中被广泛应用。

这里,RAGFlow 使用的是 graspologic 库的 hierarchical_leiden() 方法。

第二步,调用大模型为每个社区生成摘要,这被称为 社区报告(Community Report),报告以 JSON 格式输出:

{  "title": <报告标题>,  "summary": <执行摘要>,  "rating": <影响严重性评级>,  "rating_explanation": <评级说明>,  "findings": [    {      "summary":<洞察1摘要>,      "explanation": <洞察1解释>    },    {      "summary":<洞察2摘要>,      "explanation": <洞察2解释>    }  ]}

包括以下几个部分:

  • 标题:代表其关键实体的社区名称,标题应简短但具体,如果可能,在标题中包含代表性的命名实体;
  • 摘要:社区整体结构的执行摘要,其实体如何相互关联,以及与其实体相关的重要信息;
  • 影响严重性评级:0-10 之间的浮点分数,表示社区内实体造成的影响严重程度;
  • 评级说明:对影响严重性评级给出一句话解释;
  • 详细发现:关于社区的 5-10 个关键洞察列表,每个洞察应有一个简短摘要,然后是根据下面的基础规则进行的多段解释性文本,要全面;

生成的社区报告可以在 ES 中通过 "knowledge_graph_kwd": "community_report" 条件检索出来:

img

小结


在今天的学习中,我们深入探讨了 RAGFlow 中的知识图谱功能,我们详细了解了提取知识图谱的流程,包括:实体和关系的提取,子图的构建和合并,实体消歧和社区报告生成等。图谱生成成功后,知识库的配置页面会多出一个 “知识图谱” 的菜单项:

img

通过引入知识图谱,RAGFlow 能在复杂多跳问答场景中表现得更加出色,特别是在分析具有复杂关系和实体的文档时。和昨天学习的 RAPTOR 一样,启用知识图谱功能需要大量的内存、计算资源和令牌,在使用时需要权衡利弊,建议提前在少量测试集上进行验证,只有当效果提升明显,才具有足够的性价比,才建议开启该功能。

如何学习大模型 AI ?

我国在AI大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着Al技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国Al产业的创新步伐。加强人才培养,优化教育体系,国际合作并进,是破解困局、推动AI发展的关键。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学,我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路!

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍+AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发,与智学优课联合孵化,培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

为什么要学习大模型?

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

在这里插入图片描述

适合人群

  • 在校学生:包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础,有志于深入AGI大模型行业,希望开展相关的研究和开发工作。
  • IT行业从业人员:包括在职或失业者,涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验,至少1年以上的编程工作经验,对大模型技术感兴趣或有业务需求,希望通过课程提升自身在IT领域的竞争力。
  • IT管理及技术研究领域人员:包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势,主导技术创新,推动大模型技术在企业业务中的应用与改造。
  • 传统AI从业人员:包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作,现需要快速补充大模型技术能力,获得大模型训练微调的实操技能,以适应新的技术发展趋势。
    在这里插入图片描述

课程精彩瞬间

大模型核心原理与Prompt:掌握大语言模型的核心知识,了解行业应用与趋势;熟练Python编程,提升提示工程技能,为Al应用开发打下坚实基础。

在这里插入图片描述

RAG应用开发工程:掌握RAG应用开发全流程,理解前沿技术,提升商业化分析与优化能力,通过实战项目加深理解与应用。 在这里插入图片描述

Agent应用架构进阶实践:掌握大模型Agent技术的核心原理与实践应用,能够独立完成Agent系统的设计与开发,提升多智能体协同与复杂任务处理的能力,为AI产品的创新与优化提供有力支持。
在这里插入图片描述

模型微调与私有化大模型:掌握大模型微调与私有化部署技能,提升模型优化与部署能力,为大模型项目落地打下坚实基础。 在这里插入图片描述

顶尖师资,深耕AI大模型前沿技术

实战专家亲授,让你少走弯路
在这里插入图片描述

一对一学习规划,职业生涯指导

  • 真实商业项目实训
  • 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准,具备真实大模型项目实践操作经验可写入简历,支持项目背调

在这里插入图片描述
大厂绿色直通车,冲击行业高薪岗位
在这里插入图片描述

文中涉及到的完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

本文章已经生成可运行项目
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值