LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135557531

本文介绍LLM-ARK，一种利用大型语言模型进行知识图谱推理的方法。通过将KG推理任务转化为序列决策问题，采用PPO强化学习策略优化模型。在OpenDialKG数据集上的实验表明，LLM-ARK在target@1指标上显著优于现有最先进的模型GPT-4。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE
LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING》的翻译。

摘要

随着预训练方法的发展，大型语言模型（LLM）通过提示工程展现出了示范性的推理能力。然而，与较小的模型相比，缺乏知识图谱（KG）环境意识以及为中介推理过程设计可行的优化机制的挑战，限制了LLM在KG推理任务上的性能。我们介绍了LLM-ARK，这是一种基于LLM的KG推理代理，旨在对KG路径提供精确且适应性强的预测。LLM-ARK利用全文本环境（FTE）提示来吸收每个步长智能的状态信息。在做出最终决策之前，利用LLM对各种类型的输入进行丰富的编码和表示，并将知识图谱与路径环境数据进一步集成。将知识图谱（KG）多跳推理问题重新定义为一个顺序决策问题，我们使用近端策略优化（PPO）在线策略梯度强化学习算法来优化我们的模型，该算法允许模型在不同的任务和环境中从大量的奖励信号中学习。我们评估了最先进的LLM（GPT-4）和我们的方法，该方法在OpenDialKG数据集上使用不同大小的开源模型。我们的实验表明，LLaMA7B ARK为target@1评估指标，远远超过当前最先