An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering

本文是LLM系列文章，针对《An Empirical Study of Pre-trained Language
Models in Simple Knowledge Graph Question Answering》的翻译。

摘要

大规模的预训练语言模型（PLM），如BERT，最近取得了巨大的成功，成为自然语言处理（NLP）的一个里程碑。现在，NLP社区的共识是采用PLM作为下游任务的骨干。在最近关于知识图谱问答（KGQA）的工作中，BERT或其变体在其KGQA模型中已成为必要的。然而，在KGQA中，仍然缺乏对不同PLM性能的全面研究和比较。为此，我们总结了两个基于PLM的基本KGQA框架，没有额外的神经网络模块，以比较九个PLM在准确性和效率方面的性能。此外，我们在流行的SimpleQuestions基准测试的基础上，为更大规模的KG提供了三个基准测试，以研究PLM的可扩展性。我们仔细分析了所有基于PLM的KGQA基本框架在这些基准测试和其他两个流行数据集WebQuestionSP和FreebaseQA上的结果，发现PLM中的知识蒸馏技术和知识增强方法对KGQA来说是有前景的。此外，我们测试了ChatGPT，它在NLP社区引起了很大的关注，展示了它在零样本KGQA中令人印象深刻的能力和局限性。我们发布了代码和基准测试，以促进在KGQA上使用PLM。

1 引言

2 相关工作

3 前言

4 2个基本的KGQA框架

5 基准

6 实验

7 结论与未来工作

由于PLM在大多数NLP任务上的性能有所提高，使用PLM作为骨架