EntGPT: Linking Generative Large Language Models with Knowledge Bases

本文是LLM系列文章，针对《EntGPT: Linking Generative Large Language Models with Knowledge Bases》的翻译。

摘要

由于在训练和推理过程中缺乏事实核查和知识基础，大型语言模型（LLM）生成事实正确输出的能力仍然相对未被探索。在这项工作中，我们的目标是通过实体消歧（ED）任务来应对这一挑战。我们首先考虑提示工程，并设计了一种三步硬提示方法来探测LLM的ED性能，而无需监督微调（SFT）。总体而言，提示方法提高了Micro-𝐹1分，在某些情况下高达36%甚至更高，并且与现有的SFT方法相比，在10个数据集上获得了可比的性能。我们通过具有类似提示和响应的指令调整（IT）进一步提高了知识基础能力。与具有平均micro的监督实体消歧任务的几种基线方法相比，指令调整模型不仅实现了更高的micro-F1分数性能-𝐹1比现有的基线模型提高了2.1%，但在零样本设置下，在六个问答（QA）任务上也获得了更高的准确性。我们的方法同时适用于开源和闭源LLM。

1 引言

2 相关工作

3 方法

4 实验

5 实体消歧的个案研究

6 问题回答的案例研究（RQ4）

7 讨论

在这项工作中，我们描述了实体GPT模型和两种变体：基于提示的（EntGPT-P）和指令调优的（EntPGPT-I）。通过将大型语言模型生成的具体实体的自然语言提及与其在某些知识库中的对应实体联系起来，我们表明EntGPT方法可以减少幻觉。此外，我们还从大量的实