An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132667456

本文研究预训练语言模型（PLM）如BERT在知识图谱问答（KGQA）任务中的性能，对比了九个PLM在准确性和效率上的表现。在多个基准测试中，Roberta和知识增强模型Luke、Kepler表现最佳。轻量级模型DistilBert和DistilRoberta在效率和可扩展性上有优势，而ChatGPT在零样本KGQA中表现出色但存在局限性。未来工作将扩展到多跳复杂KGQA并进一步研究知识蒸馏和增强技术。

本文是LLM系列文章，针对《An Empirical Study of Pre-trained Language
Models in Simple Knowledge Graph Question Answering》的翻译。

摘要

大规模的预训练语言模型（PLM），如BERT，最近取得了巨大的成功，成为自然语言处理（NLP）的一个里程碑。现在，NLP社区的共识是采用PLM作为下游任务的骨干。在最近关于知识图谱问答（KGQA）的工作中，BERT或其变体在其KGQA模型中已成为必要的。然而，在KGQA中，仍然缺乏对不同PLM性能的全面研究和比较。为此，我们总结了两个基于PLM的基本KGQA框架，没有额外的神经网络模块，以比较九个PLM在准确性和效率方面的性能。此外，我们在流行的SimpleQuestions基准测试的基础上，为更大规模的KG提供了三个基准测试，以研究PLM的可扩展性。我们仔细分析了所有基于PLM的KGQA基本框架在这些基准测试和其他两个流行数据集WebQuestionSP和FreebaseQA上的结果，发现PLM中的知识蒸馏技术和知识增强方法对KGQA来说是有前景的。此外，我们测试了ChatGPT，它在NLP社区引起了很大的关注，展示了它在零样本KGQA中令人印象深刻的能力和局限性。我们发布了代码和基准测试，以促进在KGQA上使用PLM。