知识图谱与大语言模型的协同（RAG）——MindMap

已于 2024-05-06 20:16:01 修改
阅读量827 收藏 2
点赞数 2
分类专栏： 自然语言处理 文章标签： 知识图谱 语言模型 人工智能 深度学习 自然语言处理 RAG
于 2024-05-02 15:00:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_52053775/article/details/138389408
版权
本文提出MindMap方法，通过结合知识图谱与大语言模型，解决LLMs的不灵活性、幻觉问题和透明度缺失。MindMap构建基于知识图谱的推理框架，形成复杂思维图，提升回答的准确性和解释性。实验显示，MindMap在医学问答、复杂推理任务和解释性问题中表现出色，优于纯LLM和基于检索的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MindMap : Knowledge Graph Prompting Sparks Graph of Thoughts in Large
Language Models

代码：https://github.com/wylwilling/MindMap

1.概述

        大型语言模型（LLMs）在处理新信息、防止生成幻觉内容、以及增强决策过程透明度方面存在局限。具体来说：

  • 存在的问题：

    • 不灵活性（Inflexibility）</
了解本专栏 订阅专栏 解锁全文 超级会员免费看
MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
c_cpp_csharp的专栏
09-14 749
LLM通常在吸收新知识的能力、幻觉的产生以及决策过程的透明度方面表现出局限性。在本文中，我们探讨了如何用知识图谱（KG）提示LLM，作为一种补救措施，让LLM了解最新知识，并从LLM中引出推理途径。具体来说，我们构建了一个提示管道，赋予LLM理解KG输入的能力，并使用组合的内隐知识和检索到的外部知识进行推断。此外，我们还研究了启发思维导图，LLM在思维导图上进行推理并生成答案。研究表明，生成的思维导图展示了基于知识本体的LLM推理路径，从而为在生产中探究和衡量LLM推理带来了前景。
LLM&Graph:MindMap-Knowledge Graph Prompting Sparks Graph of Thoughts in LargeLanguage ModelsMindMap
zerokusinage的博客
11-20 1033
ACL 2024 论文: MindMap-Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language ModelsMindMap
第三章 知识图谱赋能 RAG：构建结构化知识引擎
最新发布
YPeng_Gao的博客
04-02 902
检索增强生成（RAG）技术通过检索外部知识来提升大型语言模型（LLM）的生成能力。本文深入探讨了构建 RAG 系统知识库的一种关键方法：利用结构化知识表示，特别是知识图谱。我们将介绍知识图谱的基础概念、构建方法、存储与查询技术，并讨论其在提升 RAG 系统精确性和关系理解能力方面的价值与挑战。本文旨在清晰阐述知识图谱如何作为 RAG 的强大引擎，提供更可靠、更具推理性的知识来源，并深入探讨其背后的技术原理、架构以及未来发展趋势。
在大模型RAG系统中应用知识图谱
我相信......
02-25 3010
【引子】 关于大模型及其应用方面的文章层出不穷，聚焦于自己面对的问题，有针对性的阅读会有很多的启发，本文源自Whyhow.ai 上的一些文字和示例。对于在大模型应用过程中如何使用知识图谱比较有参考价值，特汇总分享给大家。在基于大模型的RAG应用中，可能会出现不同类型的问题，通过知识图谱的辅助可以在不同阶段增强RAG的效果，并具体说明在每个阶段如何改进答案和查询。知识图谱更类似于结构化数据存储，而不...
GraphRAG：知识图谱+RAG技术
热门推荐
2401_84208172的博客
10-15 1万+
由于RAG的一些缺陷，最近工作中用到了GraphRAG，可以简单理解为知识图谱+RAG工作，在进行QFS与深度推理上表现良好。老板希望，在类似于库存管理、预测上面，可以结合更多的上下文信息和逻辑关系，进行推理和结果的输出。（下图为RAG简单示意图）
利用知识图谱提升RAG应用的准确性
AI工程化、开源分享、文档翻译、代码笔记
05-12 2660
我们已经成功地实现了RAG的检索组件。首先引入查询重写功能，允许根据对话历史对当前问题进行改写。),接下来，引入prompt利用集成混合检索器提供的上下文生成响应，完成RAG链的实现。{context}"""chain = (| prompt| llm最后，继续测试混合RAG实现。"})前面实现了查询重写功能，使RAG链能够适配允许后续问题的对话设置。考虑到我们使用向量和关键字搜索，必须重写后续问题以优化搜索过程。",可以看到 When was she born?
【绝对通俗易懂】知识图谱增强 RAG 思路 和 实现方案
Debroon
09-23 2283
举例：在处理"类风湿性关节炎"和"骨关节炎"这两种常见的关节疾病时，Graph RAG 能准确识别它们在病因、发病机制和治疗方法上的本质区别，避免因表面症状相似而导致的误诊。在传统的语义搜索中，"心肌梗塞"与"胃溃疡"这两个看似风马牛不相及的疾病，可能因为都与"胸痛"这一症状相关而被错误地联系在一起。当你问"我最近头疼、肚子疼、还有点晕，这是怎么回事"时，管理员会从每个症状出发，分别去找可能的原因，给你一个全面的解释。如果能让AI理解医学信息就像经验丰富的医生一样全面和深入，那会是多么令人振奋的突破！
论文浅尝 | MindMap：知识图谱提示激发大型语言模型中的思维图（ACL2024）
开放知识图谱
11-18 1090
笔记整理：和东顺，天津大学硕士，研究方向为软件缺陷分析论文链接：https://aclanthology.org/2024.acl-long.558/发表会议：ACL 20241. 动机虽然大语言模型（LLMs）已经在自然语言理解和生成任务中取得了显著的成绩，但是它们依然存在一些关键性的限制，包括但不限于以下几点：（1）难以融合新知识：现有的LLMs在处理新知识时常常遇到困难，特别是在需要将新知识...
技术动态 | 知识图谱遇上RAG行业问答:回顾知识检索增强范式、挑战及与知识图谱的结合...
开放知识图谱
01-12 1510
转载公众号| 老刘说NLP今天我们来看看AIDD2023(https://aidd.vip/dhrc-sz2023)中有关知识图谱与行业问答上的一些有趣的分享，供大家一起参考。一、知识检索增强范式、拷问、评估与选型同济大学王昊奋老师的《知识增强大模型:垂域落地的最后一公里》报告中，很有启发性地介绍了知识增强大模型的一些思考，特别棒，择其中几个有趣的点，分享给大家。1、RAG vs Fine-t...
技术动态 | 在不同的RAG阶段注入知识图谱
开放知识图谱
02-26 645
转载公众号 | 蓝蓝的小火苗在本文中，我想准确介绍知识图 (KG) 在 RAG 管道中的应用领域。我们将探讨 RAG 管道中出现的不同类型的问题，以及如何通过在整个管道的不同阶段应用知识图来解决这些问题。我们将讨论一个 RAG 管道的实际示例，该管道通过知识图在不同阶段得到增强，并准确说明每个阶段如何改进答案和查询。我希望传达的另一个关键要点是图技术的部署更类似于结构化数据存储，用于战略性地在 R...
从传统 RAG 到知识图谱 RAG
xx_nm98的博客
06-27 2121
众所周知，大型语言模型 （LLM） 在固定数据集上运行，其知识在上次训练更新时被冻结。ChatGPT 的普通用户可能会认识到众所周知的限制：“截至 2021 年 9 月的训练数据”。这种限制可能导致不准确或过时的响应，因为这些模型会“幻觉”信息。在不进行再培训或微调的情况下，用新信息更新它们或增强上下文理解在资源和人力方面都可能具有挑战性。
使用知识图谱，大幅提升RAG准确性
csdn1561168266的博客
08-23 826
我们已经成功实现了RAG的检索组件，接下来将引入一个提示，利用集成混合检索器提供的上下文来生成响应，从而完成RAG链的实现。{context}"""chain = (| prompt| llm最后，可以继续测试我们的混合RAG实现。"})# 搜索查询：Which house did Elizabeth I belong to?（伊丽莎白一世属于哪个王朝?# 'Elizabeth I belonged to the House of Tudor.'（'伊丽莎白一世属于都铎王朝。'）
Mind Map：大语言模型中的知识图谱提示激发思维图10.1+10.2+10.7
RM_Jin的博客
10-02 2255
LLM通常在吸收新知识的能力、以及决策过程的透明度方面有局限性。“generation of hallucination”（幻觉生成）可以指代使用计算机模型或算法生成虚假的感知或幻觉。这是指通过对输入数据进行处理和转换，模型可以生成看起来像是真实幻觉的信息。大语言模型如GPT-3是基于机器学习技术的，通过从大量文本数据中学习语言模式和上下文来生成文本回复。尽管它可以生成合理的、连贯的回答，但它并不具备真实的感知能力，也不会产生真实的幻觉。
知识图谱在检索增强生成(RAG)中的应用：详细步骤
myboyliu2007的专栏
05-20 1961
以下是如何生成知识图谱、将数据加载到图形数据库中,并将其用作检索增强生成之上的一个层,以提供更可管理和更强大的知识的分步说明。我们可以在知识图谱中应用RAG,而不是直接查询,我们可以根据问题在知识图谱中进行搜索,并使用搜索结果作为上下文来生成答案。这里的查询字符串是一个问题:AES加密的安全级别是什么,它根据你的问题提取了关键词,并从你的图形数据库中查询它们。知识图谱 rag 最强大的用例在于它可以与现有的搜索结合使用,将额外的知识注入 GenAI 结果中,从而提高性能。
使用知识图谱，大幅提升RAG准确性，代码在文末获取！
python12345_的博客
01-08 1044
我们已经成功实现了RAG的检索组件。接下来，我们将引入一个提示，利用集成混合检索器提供的上下文来生成响应，从而完成RAG链的实现。
实施生成和分析模型来创建和丰富 RAG 的知识图谱 评估生成和分析模型以构建知识图谱，并促进这些增强的、以领域为中心的知识图谱为高性能 RAG 提供支持
iCloudEnd的博客
06-04 163
模型实例化：输入、隐藏和输出层的大小已确定。Input_size 和 output_size 为 99，可能反映了邻接矩阵（该图有 99 个节点）。优化器、损失函数： Adam 优化器因其效率和自适应学习率而成为流行的神经网络训练器。对于二元分类，使用 BCELoss（二元交叉熵损失）损失函数。该函数测量实际值与预测概率之间的差异，非常适合图形链接预测。训练循环：使用具有不同图结构的邻接矩阵的 adj_tensor 对网络进行超过 200 个 epoch 的训练。
在 RAG 系统中结合文本嵌入和知识（图）嵌入
m0_59164304的博客
06-05 1161
在本文中，我很高兴介绍我结合文本嵌入和知识（图）嵌入的实验以及对 RAG 性能的观察。我将首先使用简单的开放框架独立解释文本和知识嵌入的概念，然后，我们将了解如何在 RAG 应用程序中使用两者。这是一篇相当长的文章，我故意不想写多个部分，所以你们都掌握了流程，并按照我在下面分享的顺序尝试这个第 1 部分：什么是文本嵌入 (TE)？& 它们在 RAG 实现中如何存储和使用？第 2 部分：什么是知识（图）嵌入 (KGE) 以及它们如何存储？
LLM之RAG理论（五）| 使用知识图谱增强RAG
wshzd的博客
01-14 5288
例如，依赖简单的语义相似性搜索进行上下文检索可能并不总是有效的，尤其是当查询缺乏足够的上下文时，或者当相关信息分散在庞大的文本语料库中时。无论是通过利用LLM的知识还是构建广泛的KG文本语料库，这一过程都显著增强了KG到文本的生成，特别是在训练数据有限的情况下。知识图谱表示了任意两个实体之间的关系，在这个结构中，节点表示着诸如人、地点或事件之类的实体，而边表示这些实体之间的连接。例如，Wikidata汇编了维基百科文章中的大量知识，产生了大量多样的KGs，其中包含数百万个实体和多种语言的关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱花的浪漫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值