LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量626

点赞数 5

CC 4.0 BY-SA版权

分类专栏： Knowledge Graph 文章标签：知识图谱语言模型人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135557531

Knowledge Graph 同时被 2 个专栏收录

85 篇文章 ¥99.90 ¥299.90

订阅专栏

LLM 日更

828 篇文章

已下架不支持订阅

本文介绍LLM-ARK，一种利用大型语言模型进行知识图谱推理的方法。通过将KG推理任务转化为序列决策问题，采用PPO强化学习策略优化模型。在OpenDialKG数据集上的实验表明，LLM-ARK在target@1指标上显著优于现有最先进的模型GPT-4。

本文是LLM系列文章，针对《LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE
LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING》的翻译。

摘要

随着预训练方法的发展，大型语言模型（LLM）通过提示工程展现出了示范性的推理能力。然而，与较小的模型相比，缺乏知识图谱（KG）环境意识以及为中介推理过程设计可行的优化机制的挑战，限制了LLM在KG推理任务上的性能。我们介绍了LLM-ARK，这是一种基于LLM的KG推理代理，旨在对KG路径提供精确且适应性强的预测。LLM-ARK利用全文本环境（FTE）提示来吸收每个步长智能的状态信息。在做出最终决策之前，利用LLM对各种类型的输入进行丰富的编码和表示，并将知识图谱与路径环境数据进一步集成。将知识图谱（KG）多跳推理问题重新定义为一个顺序决策问题，我们使用近端策略优化（PPO）在线策略梯度强化学习算法来优化我们的模型，该算法允许模型在不同的任务和环境中从大量的奖励信号中学习。我们评估了最先进的LLM（GPT-4）和我们的方法，该方法在OpenDialKG数据集上使用不同大小的开源模型。我们的实验表明，LLaMA7B ARK为target@1评估指标，远远超过当前最先进的模型17.64个百分点。同时，GPT-4的得分仅为14.91%，进一步突出了我们方法的有效性和复杂性。我们的代码可在GitHub上获得，以供进一步访问。