LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING

本文是LLM系列文章，针对《LLM-ARK: KNOWLEDGE GRAPH REASONING USING LARGE
LANGUAGE MODELS VIA DEEP REINFORCEMENT LEARNING》的翻译。

摘要

随着预训练方法的发展，大型语言模型（LLM）通过提示工程展现出了示范性的推理能力。然而，与较小的模型相比，缺乏知识图谱（KG）环境意识以及为中介推理过程设计可行的优化机制的挑战，限制了LLM在KG推理任务上的性能。我们介绍了LLM-ARK，这是一种基于LLM的KG推理代理，旨在对KG路径提供精确且适应性强的预测。LLM-ARK利用全文本环境（FTE）提示来吸收每个步长智能的状态信息。在做出最终决策之前，利用LLM对各种类型的输入进行丰富的编码和表示，并将知识图谱与路径环境数据进一步集成。将知识图谱（KG）多跳推理问题重新定义为一个顺序决策问题，我们使用近端策略优化（PPO）在线策略梯度强化学习算法来优化我们的模型，该算法允许模型在不同的任务和环境中从大量的奖励信号中学习。我们评估了最先进的LLM（GPT-4）和我们的方法，该方法在OpenDialKG数据集上使用不同大小的开源模型。我们的实验表明，LLaMA7B ARK为target@1评估指标，远远超过当前最先进的模型17.64个百分点。同时，GPT-4的得分仅为14.91%，进一步突出了我们方法的有效性和复杂性。我们的代码可在GitHub上获得，以供进一步访问。

1 引言

2 相关工作

3 方法

4 实验和结果

5 结论

我们的研究通过对GPT-4的检查和对L