Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation

本文是LLM系列文章，针对《Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation》的翻译。

摘要

知识密集型任务（例如，开放领域问答（QA））需要大量的事实知识，并且经常依赖外部信息来提供帮助。最近，大型语言模型（LLM）（例如，ChatGPT）在用世界知识解决一系列任务方面表现出了令人印象深刻的能力，包括知识密集型任务。然而，目前尚不清楚LLM对其事实知识边界的感知能力，特别是在结合检索增强时的表现。在本研究中，我们对LLM的事实知识边界以及检索增强如何影响开放域QA中的LLM进行了初步分析。特别是，我们关注了三个主要的研究问题，并通过检验LLM的QA性能、先验判断和后验判断对其进行了分析。我们展示的证据表明，LLM对其回答问题的能力和回答的准确性有着坚定不移的信心。此外，检索增强被证明是提高LLM知识边界意识的有效方法，从而提高其判断能力。此外，我们还发现，LLM在制定答案时倾向于依赖所提供的检索结果，而这些结果的质量会显著影响其依赖性。复制此作品的代码可在https://github.com/RUCAIBox/LLM-Knowledge-Boundary。

1 引言

2 背景和设置

3 实验分析和发现

4 结论

在这项工作中，我们研究了LLM在开放领域QA上通过检索增强对事实知识边界的感知能力。详细地，我们提出了先验和后验判断提示，除了QA提示外，还进行了正常和检索增强评估。我们得出了几个关键发现，包括（1）LLM对自己回答