Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

最新推荐文章于 2025-05-14 13:58:16 发布
最新推荐文章于 2025-05-14 13:58:16 发布
阅读量471 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Knowledge Graph Survey Paper 文章标签： 语言模型 知识图谱 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132717747
Survey Paper 同时被 3 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
Knowledge Graph
85 篇文章 ¥99.90 ¥299.90
订阅专栏
LLM 日更
828 篇文章

已下架不支持订阅

本文探讨了大型语言模型（LLM）在处理事实知识时的局限性，提出通过结合知识图谱（KGs）来增强LLM，以改善其事实推理能力和问答系统的性能。KGPLMs（知识图谱增强的预训练语言模型）通过整合KGs的知识，提升了LLM在结构化推理和可解释预测的能力。研究发现，KGPLMs在常见问答数据集上超越了传统PLM。文章强调了即使在LLM时代，KGs仍然具有不可替代的价值，并提出了未来KGLLM的发展方向。

本文是LLM系列文章，针对《ChatGPT is not Enough: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling》的翻译。

ChatGPT还不够：用知识图谱增强大型语言模型以进行事实感知语言建模

摘要

近年来，具有代表性的大型语言模型（LLM）ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为，LLM有可能取代知识图谱等结构化知识库，并作为参数化知识库发挥作用。然而，尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话，但与以前较小的预训练语言模型（PLM）一样，它们在生成基于知识的内容时，仍然难以回忆事实。为了克服这些限制，研究人员提出用基于知识的KGs增强数据驱动的PLM，将明确的事实知识纳入PLM中，从而提高其生成需要事实知识的文本的性能，并为用户查询提供更明智的响应。本文综述了用知识图谱增强预训练语言模型（KGPLM）的研究，详细介绍了现有的知识图谱增强预训练语言模型及其应用。受现有KGPLM研究的启发，本文提出通过开发知识图谱增强的大型语言模型（KGLLM）来增强KGs的LLM。KGLLM为提高LLM的事实推理能力提供了一种解决方案，为LLM研究开辟了新的途径。

1 引言

2 PLM的历史

3 KGPLMs

4 KGPLMs的应用

E 问答

问答系统需要为给定的问题选择正确的答案，必须能够访问相关知识并对此进行推理。近年来，尽管PLM在许多问答任务上取得了显著成就，但从经验上看，它们在结构化推理方面表现不佳。另一方面，KGs更适合于结构化推理，并能够进行可解释的预测。因此，一些研究提出将PLM与KGs相结合，以进行结构化推理并实现可解释的预测。一

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Enhancing Large Language Models (LLMs) for Telecommunications using Knowledge Graphs
c_cpp_csharp的专栏
04-26 253
本文提出了一种结合知识图谱（KG）和检索增强生成（RAG）的框架（KG-RAG），旨在提升大型语言模型（LLM）在电信领域的专业能力。传统LLM在通用任务表现出色，但在电信等专业领域存在知识更新滞后、结构化推理不足等问题。作者通过构建电信领域KG，整合网络协议、标准、硬件组件等实体及其关系，并通过RAG动态检索相关知识片段，辅助LLM生成更精准的回答。实验表明，KG-RAG在Tspec-LLM数据集上的问答准确率达88%，显著优于RAG-only（82%）和LLM-only（48%）。
Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration
c_cpp_csharp的专栏
06-05 463
尽管大型语言模型（LLM）在不同领域都表现出了非凡的开放生成能力，但它们在知识密集型任务中举步维艰。为了缓解这一问题，已经提出了使用外部模块通过特定领域的知识图谱来增强LLM的知识集成方法。然而，它们的数据效率低下，因为它们需要已知和未知的知识来进行微调。因此，我们研究了一个新的问题，即在没有已知知识不必要重叠的情况下，将未知知识有效地集成到LLM中。注入新知识会带来遗忘先前获得的知识的风险。
KG-Adapter: Enabling Knowledge Graph Integration in Large Language Models through Parameter-Efficien
最新发布
wyn20001128的博客
05-14 1036
尽管大语言模型（LLMs）在各种任务中展现出卓越的能力和泛化性，但其缺乏专业知识的特性常受诟病。一种可行的解决方案是将知识图谱（KGs）与LLMs结合，近期研究主要通过基于提示的方法实现KGs与LLMs的融合。然而，这些方法未能利用KGs的结构信息，存在知识冲突问题，且过度依赖超大规模LLMs。为解决这些问题，我们提出KG-Adapter——一种基于参数高效微调（PEFT）的参数级KG融合方法。具体而言，
KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
weixin_43961909的博客
03-01 1129
大语言模型（LLM）在自然语言处理领域表现出了令人印象深刻的影响，但它们仍然面临着完整性、及时性、忠实性和适应性等问题。虽然最近的工作重点是将法学硕士与外部知识源联系起来，但知识库（KB）的整合仍然没有得到充分研究，并面临一些挑战。在本文中，我们介绍了 KnowledGPT，这是一个将法学硕士与各种知识库联系起来的综合框架，有助于知识的检索和存储。检索过程采用思维提示程序，生成代码格式的知识库搜索语言，并带有预定义的知识库操作函数。
KnowledGPT:Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
c_cpp_csharp的专栏
09-18 567
大型语言模型（LLM）在自然语言处理领域表现出了令人印象深刻的影响，但它们仍在与一些问题作斗争，如完整性、及时性、忠实性和适应性。虽然最近的努力侧重于将LLM与外部知识源联系起来，但知识库的整合仍然研究不足，并面临着一些挑战。在本文中，我们介绍了KnowledGPT，这是一个将LLM与各种知识库连接起来的综合框架，有助于知识的检索和存储。检索过程采用了思维链提示程序，该程序以代码格式为知识库生成搜索语言，并为知识库操作提供预定义的功能。
论文详解KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
ws_nlp_的博客
10-10 703
这个是优化了embedding的方法，将问题变为实体抽取，关系抽取，步骤生成，然后embedding不同部分，可能是多重embedding加上关系的实体链接后embedding，然后再检索，再回答。1-2-2-1、embedding模型，计算sim得到关系候选(利用A，B搜索A，B，C)1-2、设计了三个KB函数流程：实体查询，实体+关系-实体查询，实体+实体=关系查询。1-2-1-1、embedding模型，计算sim得到候选。1-2-1-2、实体查询，查询候选知识，截断。1-2-1、实体链接。
Enhancing Temporal Knowledge Graph Forecasting with Large Language Models
c_cpp_csharp的专栏
04-30 568
时间知识图谱（TKG）预测旨在基于给定的历史来预测未来的事实。最新的基于图的模型擅长捕捉TKG中的结构信息，但缺乏语义理解能力。如今，随着LLM的激增，基于LLM的TKG预测模型已经出现。然而，现有的基于LLM的模型存在三个缺点：（1）它只关注一阶历史进行预测，而忽略了高阶历史信息，导致为LLM提供的信息极其有限。（2） LLM在繁重的历史信息负载下难以获得最佳推理性能。（3） 对于TKG预测，LLM单独的时间推理能力是有限的。
【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap
Running Snail
10-30 1570
大模型与知识图谱的互相增强、协同融合和未来发展路线
【RAG 论文】面向知识库检索进行大模型增强的框架 —— KnowledGPT
VLyb
04-19 2653
KnowledGPT：面向知识图谱检索进行大模型增强的框架工作
CogMG: Collaborative Augmentation Between Large Language Model and Knowledge Graph（LLM和KG协同）
m0_60110713的博客
10-21 1123
Abstract大模型已经成为问答应用程序中不可或缺部分本文介绍一个1）利用知识图谱解决LLM在QA场景中的局限性，明确针对知识覆盖不完整和知识更新不一致的问题。（2）LLM识别并分解知识图谱不存在的所需知识三元组，丰富这是图谱并是其更新与现实知识需求保持一致。
新KG视点 | 王昊奋梁磊——新一代工业级知识图谱语义框架
开放知识图谱
08-25 1194
OpenKG大模型专辑导读知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期邀请到同济大学特聘研究员王昊奋和蚂蚁集团梁磊分享“新一代工业...
20230829笔记
weixin_43845649的博客
08-22 1108
motivationmethod conclusion:
直播预告 | 香港大学数据智能实验室专场 大模型专题 | 12月26日
AITIME_HY的博客
12-22 940
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！哔哩哔哩直播通道扫码关注AITIME哔哩哔哩官方账号预约直播实验室介绍香港大学数据智能实验室（Data Intellegience Lab）是一支专注于数据科学的研究团队，并由一群充满热情的研究人员组成，致力于推进人工智能技术在数据科学领域的研究。实验室的老师为黄超。该实验室研究方向主要包括图机器学习，推荐系统，时空数据挖掘，大语言模型。自...
Knowledge Graph Embedding论文笔记
weixin_42761580的博客
09-25 371
将KG triple分为relational triples 和 triples of entity attributes, 设计two component models: structure embedding model和attribute embedding model。用sigmoid作为激活函数，作为输出层的激活函数，使用 crossentropy（作为损失函数，就是将最后分类层的每个输出节点使用sigmoid激活函数激活，然后对每个输出节点和对应的标签计算交叉熵损失函数。
2024年5月7日大语言模型最新论文中文摘要
数智笔记
05-08 4030
在这里，我们将使用 LangGraph、Groq-Llama-3 和 Chroma 构建可靠的 RAG 代理。我们将结合以下概念来构建 RAG 代理。自适应 RAG (论文。我们已经实现了本文中描述的概念，构建了一个路由器，用于将问题路由到不同的检索方法。校正 RAG (论文。我们已经实现了本文中描述的概念，开发了一个回退机制，用于在检索到的上下文与所问问题不相关时继续进行。自身 RAG (论文。我们已经实现了本文中描述的概念，开发了一个幻觉评分器，即修正那些产生幻觉或未回答所问问题的答案。
ENHANCING TEXT-BASED KNOWLEDGE GRAPH COMPLETION WITH ZERO-SHOT LARGE LANGUAGE MODELS: A FOCUS ON SEM
m0_60110713的博客
10-17 1006
基于文本的训练很大程度上取决于数据的质量和丰富性，通过文本提示大模型可以生成数据结构去丰富知识图谱的内容，但是需要大量的计算资源。为了解决这一问题，我们引入一个成为KGC约束提示框架，设计使用不同的数据集以增强语义丰富度，采用上下文约束的策略来识别数据集的多义实体。
Enhancing Large Language Models with Pseudo- and MultisourceKnowledge Graphs for Open-ended QA
c_cpp_csharp的专栏
04-12 163
减轻大型语言模型（LLM）的幻觉并增强它们是一项至关重要的任务。尽管一些现有的方法采用了模型自我增强技术，但它们不能有效地解决未知的事实幻觉。使用知识图谱（KG）增强方法无法同时解决不同KG来源的泛化和开放式回答问题的增强问题。为了解决这些限制，提出了一个结合伪图生成和原子知识验证的框架。在开放式问答环境中使用KG增强LLM是通过利用伪图生成来实现的。原子知识验证利用原子级的知识查询和验证来实现不同KG来源下的可推广性。与基线相比，这种方法在开放式问题的ROUGE-L分数上至少提高了11.5分。
Infusing Knowledge into Large Language Models with Contextual Prompts
c_cpp_csharp的专栏
05-21 258
知识注入是一种很有前途的方法，可以增强特定领域NLP任务的大型语言模型，而不是从头开始对大型数据进行预训练模型。这些增强的LLM通常依赖于来自现有知识图谱的额外预训练或知识提示，这在许多应用中是不切实际的。相比之下，直接从相关文档中注入知识更具普遍性，减轻了对结构化知识图的需求，同时对通常在任何知识图谱中都找不到的实体也很有用。基于这一动机，我们提出了一种简单而通用的知识注入方法，通过在输入文本中的上下文中生成提示。我们的实验表明了我们的方法的有效性，我们通过探索微调LLM来评估该方法。
Knowledge Graph Large Language Model (KG-LLM) for Link Prediction
c_cpp_csharp的专栏
05-24 412
预测知识图谱（KG）中的多个链接是知识图谱分析领域的一个挑战，由于自然语言处理（NLP）和KG嵌入技术的进步，这一挑战越来越容易解决。本文介绍了一种新的方法，即知识图谱大型语言模型框架（KG-LLM），它利用了关键的NLP范式。我们使用我们的方法将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示来微调大型语言模型（LLM），以增强KGs中的多跳链接预测。通过将KG转换为自然语言提示，我们的框架旨在识别和学习实体的潜在表示及其相互关系。
Evaluating and Enhancing Large Language Models'Performancein Domain-Specific Medicine:Development and Usability StudyWith DocOA
03-12
好的，我现在需要处理用户关于大型语言模型（LLMs）在医学领域的性能评估和增强，特别是与DocOA相关的研究的查询。首先，我需要明确用户的需求。他们可能是在寻找现有的研究进展、评估方法、增强策略，以及DocOA的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值