【AI大模型应用开发】教你用AI轻松将你的知识库变为知识图谱（附完整代码，直接运行）

已于 2024-05-24 10:03:24 修改
阅读量3.6k 收藏 48
点赞数 45
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 知识图谱 chatgpt AIGC 笔记 langchain
于 2024-05-22 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Attitude93/article/details/138792571

大家好，我是 同学小张，持续学习C++进阶知识和AI大模型应用实战案例，持续分享，欢迎大家点赞+关注，共同学习和进步。

上篇文章中我们对AI+知识图谱进行了极简入门：带领大家使用LangChain实现了一个知识图谱的创建和查询。但是当时的创建是直接写死的实例数据，仅仅是展示功能，并没有实际意义。本文我们来介绍如何使用AI，将自己的知识库自动转换为知识图谱。

文章目录

代码参考：https://colab.research.google.com/drive/1OpoLyKAWTVpkhy0VgVduprYypIFTSIrL#scrollTo=TtlKi-4r8grL

0. 实现效果

先来看下最终的实现效果：输入知识，大模型自动将知识中的实体、关系、属性等提取出来，并自动生成知识图谱。为了方便查看，代码中还对创建的知识谱图进行了可视化展示。

（1）对于某个知识提取出的知识图谱结构：

在这里插入图片描述

（2）可视化知识谱图的展示：

在这里插入图片描述

1. 代码实现过程

1.1 知识图谱结构的识别

将知识转化为知识图谱，最重要的步骤是将知识中的实体、关系、属性等提取出来。这也是代码的主要部分。这部分是通过Prompt来实现的。

（1）Prompt部分

# Prom
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）
同学小张的博客
05-20 3142
最近在大模型应用中使用图数据库或知识图谱越来越流行。图在表示和存储多样化且相互关联的信息方面具有天然优势，能够轻松捕捉不同数据类型间的复杂关系和属性，从而更好地给大模型提供上下文或数据支持。本文一起来看下如何在大模型应用中使用图数据库或知识图谱。
大模型构建知识图谱基本过程
爱学习_萌萌哒
07-01 1479
构建大模型知识图谱是一个复杂的过程，需要结合多种技术和方法。通过上述步骤，可以系统地构建和实现一个知识图谱，从数据收集到知识表示和推理，再到知识更新和维护。数据收集：从多种来源获取数据。数据清洗与预处理：确保数据的一致性和准确性。知识提取：使用NLP技术提取实体、关系和属性。知识表示：使用RDF或图数据库表示知识。知识存储：将知识存储在图数据库或三元组存储系统中。知识推理：使用推理引擎进行知识推理。知识更新和维护：定期更新和维护知识图谱。
AI开发： 知识图谱的初识，学会制作知识图谱- Python 机器学习
minstbe的博客
12-05 3494
是一个通过图结构来表示和组织知识的工具，它将事物、概念和它们之间的关系以图的形式呈现出来，图中的节点代表实体（比如人物、地点、事件等），而边代表这些实体之间的各种关系（例如“某人是某地的居民”，“某人是某公司的员工”等）。简单来说，知识图谱就像是一个庞大的电子地图，通过它我们可以知道不同事物是如何相互联系的。：假设你有一个图谱，节点包括“马云”、“阿里巴巴”和“电商行业”。如果我们在“马云”和“阿里巴巴”之间连接一条边，标注为“创办了”，就说明“马云”与“阿里巴巴”之间有一个“创办了”的关系。
【AI知识点】知识图谱（Knowledge Graph）
AI完全体
10-14 5548
知识图谱（Knowledge Graph） 是一种用于组织、存储和表示知识的结构化数据模型，它通过实体（entities） 和实体之间的关系（relationships） 构建一个网络，展示现实世界中各种概念及其相互关系。知识图谱能够将不同领域的数据和信息整合到一起，形成知识网络，从而帮助机器进行更智能的决策、推理和查询。
AI知识图谱：一张图看懂AI学习全路径，大模型入门到精通，收藏这篇就足够了！
最新发布
瓦罗兰特顶级C位的博客
10-14 453
作者能力有限，借此希望为想学习AI的朋友们提供一条系统性的学习路线，快速入门，拥抱AI！
知识图谱的节点和关系实现（python）
chen_nnn的博客
03-28 9716
本文当中所涉及到的代码来源仍然是前一篇博文当中提到的刘老师架构的智能问答机器人中知识图谱部分，上一篇内容主要关于前期数据搜集和处理的内容，而在本期当中则会学习如何架构一个真实的知识图谱，并且在阅读完成之后，我也会自己进行尝试写一个小型的知识图谱来练习一下，请大家监督。 知识图谱基础代码构建（医疗向）_chen_nnn的博客-优快云博客医疗知识图谱构建过程https://blog.youkuaiyun.com/chen_nnn/article/details/123410433 build_medicalgra
关于AI人工智能的知识图谱简介
qq_28576837的博客
05-15 2143
神经网络是一种受生物神经元启发而设计的计算模型，由。
利用AI大模型，将任何文本语料转化为知识图谱，可本地运行！
xxue345678的博客
05-24 1702
几个月前，基于知识的问答（KBQA）还是一个新奇事物。现在，对于任何AI爱好者来说，带检索增强生成（RAG）的KBQA就像小菜一碟。看到自然语言处理（NLP）的可能性领域由于大型语言模型（LLMs）的发展而如此迅速扩展，真是令人着迷。而且，它每天都在变得更好。在我上一篇文章中，我分享了一种递归RAG方法，用于实现具有多跳推理的问答，以回答基于大量文本语料库的复杂查询。很多人尝试了这种方法并发送了他们的反馈。自那以后，我整理了这些反馈，并对代码进行了一些改进，以解决原始实现的问题。
知识图谱与大模型 Part 1：使用大型语言模型自动进行知识图谱构建
热门推荐
大模型研究中心
06-14 1万+
知识图谱(Knowledge Graph)是以Graph 形式表示数据的网络。知识图谱的美妙之处在于它们将概念、事件和实体表示为节点，它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义，并区分其多种可能的含义。例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。知识图谱适用于各种领域和应用，包括零售产品推荐、搜索引擎优化、反洗钱倡议和医疗保健，金融场景然而，知识图谱的使用，也存在非常多的挑战、昂贵和耗时的构建过程，而且很多时候还伴随这大量的人工参与。
构建知识图谱：从技术到实战的完整指南
TechLead
01-29 7647
本文深入探讨了知识图谱的构建全流程，涵盖了基础理论、数据获取与预处理、知识表示方法、知识图谱构建技术等关键环节。
大模型零基础入门，利用大型语言模型自动构建知识图谱！
aolan123的博客
01-22 1948
知识图谱(Knowledge Graph)是以Graph 形式表示数据的网络。知识图谱的美妙之处在于它们将概念、事件和实体表示为节点，它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义，并区分其多种可能的含义。例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。知识图谱适用于各种领域和应用，包括零售产品推荐、搜索引擎优化、反洗钱倡议和医疗保健，金融场景然而，知识图谱的使用，也存在非常多的挑战、昂贵和耗时的构建过程，而且很多时候还伴随这大量的人工参与。
Obsidian AI 自动生成知识图谱辅助学习
xx_nm98的博客
11-06 3021
最近学习中医，发现学习新知识真的太难了。在读到某个药材、经络、方剂的时候，总想到这些内容之前在哪里读过， 然后往前翻，而且时长找不到。于是乎，想到了 Obsidian，想到了知识图谱，想到了 AI 自动生成知识图谱。整体的方案就是：使用 Obsidian 转录数据使用 AI 自动解析成 Wiki 格式使用 Obsidian 的双线连接和图谱来发辅助学习先看一下效果：配合 Obsidian 自带的图谱功能，还可以看到漂亮的知识图谱，大家可以根据自己的需要设置下节点颜色，
如何构建自己的知识图谱？
强化学习曾小健
07-24 1183
知识图谱是通过图的形式来表达和组织知识的一种结构。图谱中的“节点”代表实体（如概念、事物、事件等），而“边”则代表节点之间的关系（如“属于”、“关联”、“包含”等）。通过这种图形化的结构，可以清晰地展现出不同实体之间的联系，使得知识的结构更加直观、易于理解。举个简单的例子，在医学领域，知识图谱可以展示疾病、药物、症状以及它们之间的关联，例如某种药物与治疗某种疾病的关系，或者特定症状与相关疾病的关联。通过知识图谱，医生可以更快地查找到相关信息，从而做出更为精准的诊断和治疗。
基于AI实现知识图谱的实战与原理解析
fengjian的博客
09-08 1819
基于AI自动实现知识图谱
探究使用大模型进行知识图谱构建以及问答
qingkahui24689的博客
08-30 2098
近期能力展示。实体和关系抽取以及事件抽取是构建知识图谱的基础元素，有助于丰富实体、关系和事件信息的细化。同时，链接预测作为知识图谱推理的核心任务，旨在揭示实体之间潜在的关系，从而丰富知识图谱。此外，我们进一步探索了大型语言模型（LLMs）在基于知识的问答任务中的应用，以全面理解它们的推理能力。考虑到这些因素，我们选择这些任务作为评估知识图谱构建和推理的代表。如图1所示，我们的初步调查针对的是大型语言模型在上述任务中的零样本和单样本能力。此分析旨在评估这些模型在知识图谱领域的潜在用途。实证发现表明，
用 OpenAI Functions 从文本构建知识图谱实战篇
Python_cocola的博客
04-14 1120
当你的 RAG 应用需要同时处理结构化数据与非结构化数据时，**知识图谱（Knowledge Graphs）**是非常理想的选择。在本篇文章中，你学习了如何使用，从任意文本中提取信息并在Neo4j中构建知识图谱。OpenAI Functions 提供了结构清晰的输出形式， 因此在执行结构化信息提取任务时非常高效、便捷。
AI大模型应用入门实战与进阶：大模型在知识图谱构建中的应用
AI天才研究院
01-10 3397
1.背景介绍 知识图谱(Knowledge Graph, KG)是一种以实体(Entity)和关系(Relation)为核心的数据结构，用于表示实际世界的知识。知识图谱的应用范围广泛，包括信息检索、问答系统、推荐系统、语义搜索等。随着大规模机器学习(Deep Learning)和自然语言处理(Natural Language Processing, NLP)的发展，大模型(Large Model...
基于大模型的知识图谱构建，非常详细收藏我这一篇就够了！
2401_85375151的博客
04-22 4558
EDC框架通过三阶段协同工作实现知识图谱的高效构建。开放信息抽取阶段，利用LLM的语义理解能力，从自由文本中提取初步的三元组。这一过程不依赖预定义模式，允许模型自由识别多样化的关系表达（如“出生日期”可能被表述为“BornOn”“出生时间”），并通过示例引导模型捕捉显式或隐含的关联，例如从“1959年被NASA选中”中抽取出“selectedByNASA”关系。输出结果保留了原始语义的丰富性，但也引入了冗余性，例如同一概念可能对应多个近义词。模式定义。
教你用AI轻松将你的知识库变为知识图谱
02-28
### 使用AI将知识库转换为知识图谱的方法 #### 方法概述 为了实现从知识库到知识图谱的转化，核心在于识别并抽取知识中的实体及其关系，形成三元组（主体-谓词-客体），这是构建知识图谱的基础工作。这一过程高度依赖于精心设计的提示(Prompt)以及强大的预训练大模型能力[^1]。 #### 工具和技术栈介绍 - **大型语言模型**：作为主要的技术支撑点，用于理解输入文本的内容，并据此生成相应的三元组表示形式。 - **Neo4j**：一种流行的图形数据库管理系统，非常适合用来存储和查询由上述方法产生的结构化数据；其丰富的API接口也便于后续的数据分析与应用开发[^2]。 - **LangChain** 和 **OpenAI API**：提供了便捷的方式去调用先进的自然语言处理服务，帮助更高效地完成信息抽取的任务。此外，这些平台通常会提供详细的文档支持开发者快速上手。 #### 实现流程概览 当拥有了一定规模的知识库之后，可以按照如下方式将其转变为知识图谱： 1. 对原始文本材料进行预处理，去除噪声干扰； 2. 利用LLM执行命名实体识别(NER)，找出文中提及的关键概念或对象； 3. 基于上下文环境定义合适的Prompt模板，指导模型正确解析各实体间的关系； 4. 将得到的结果保存至像Neo4j这样的专用图数据库内； 5. 最终借助可视化工具呈现整个知识网络，方便直观理解和进一步探索。 ```python import openai from neo4j import GraphDatabase def extract_triples(text, api_key): # 设置OpenAI API密钥 openai.api_key = api_key response = openai.Completion.create( engine="text-davinci-003", prompt=f"Extract triples from the following text:\n{text}\nReturn as JSON.", max_tokens=150, n=1, stop=None, temperature=0.7, ) return response.choices[0].text.strip() # 示例代码片段仅作说明用途，请根据实际情况调整参数配置 driver = GraphDatabase.driver("bolt://localhost", auth=("neo4j", "password")) with driver.session() as session: result = extract_triples("example sentence here.", "<your_api_key>") print(result) session.close() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值