MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models

828 篇文章

已下架不支持订阅

本文研究如何使用知识图谱提示改进LLM,使其能够理解和利用外部知识进行推理,生成的思维导图揭示了LLM的推理路径。实验表明,MindMap提示在问答任务中显著提高了GPT-3.5的性能,并且在结构化知识获取上优于文档检索方法。

本文是LLM系列文章,针对《MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models》的翻译。

思维导图:大型语言模型中的知识图谱提示火花思维图

摘要

LLM通常在吸收新知识的能力、幻觉的产生以及决策过程的透明度方面表现出局限性。在本文中,我们探讨了如何用知识图谱(KG)提示LLM,作为一种补救措施,让LLM了解最新知识,并从LLM中引出推理途径。具体来说,我们构建了一个提示管道,赋予LLM理解KG输入的能力,并使用组合的内隐知识和检索到的外部知识进行推断。此外,我们还研究了启发思维导图,LLM在思维导图上进行推理并生成答案。研究表明,生成的思维导图展示了基于知识本体的LLM推理路径,从而为在生产中探究和衡量LLM推理带来了前景。在三个问答数据集上的实验也表明,MindMap提示带来了显著的经验增益。例如,使用MindMap提示GPT-3.5会持续产生超过GPT-4的压倒性性能。我们还证明,通过从KG中检索结构化事实,MindMap可以优于一系列使用文档检索方法的提示,受益于KG中更准确、简洁和全面的知识。为了重现我们的结果并进一步扩展框架,我们在https://github.com/wylwilling/MindMap上开源了代码。

1 引言

2 相关工作

3 方法

4 实验

5 结论

本文引入了知识图谱(KG)提示1)赋予LLM理解KG输入的能力,2)利用隐式知识和检索到的外部知识相结合来促进LLM的推理。然后,我们研究了启发思维导图,LLM在其中进

KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph》聚焦于利用大型语言模型增强知识图谱推理。大型语言模型(LLM)在复杂推理和问答(QA)任务中的知识限制方面存在局限性,而KnowledgeNavigator框架利用知识图谱中的外部知识来增强LLM推理[^4]。 该框架主要包括三个阶段:问题分析、知识检索和推理。在问题分析阶段,预测推理跳数,生成相似的问题,以增强推理逻辑挖掘;知识检索阶段,根据给定的问题和大语言模型指导,从知识图谱中迭代检索和过滤相关知识;推理阶段,将检索到的知识转化为对LLM有效的提示,以此增强其推理能力。并且该框架在KGQA基准测试中优于以前的知识图谱增强LLM方法[^4]。 ```python # 以下为简单示意框架各阶段伪代码 # 问题分析 def question_analysis(question): # 预测推理跳数 hop_count = predict_hop_count(question) # 生成相似问题 similar_questions = generate_similar_questions(question) return hop_count, similar_questions # 知识检索 def knowledge_retrieval(question, llm_guide, knowledge_graph): relevant_knowledge = [] # 迭代检索和过滤相关知识 for step in range(max_steps): new_knowledge = retrieve_and_filter(question, llm_guide, knowledge_graph) relevant_knowledge.extend(new_knowledge) return relevant_knowledge # 推理 def reasoning(relevant_knowledge, llm): prompt = convert_to_prompt(relevant_knowledge) result = llm.generate(prompt) return result ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值