Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation

大型语言模型的知识边界与检索增强实证研究

UnknownBody

已于 2023-08-18 10:52:50 修改

阅读量289

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

于 2023-08-18 10:52:12 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132325550

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文分析大型语言模型（如ChatGPT）在知识密集型任务中的事实知识边界，研究检索增强对其在开放领域问答（QA）中表现的影响。实验表明，LLM对自身回答能力过于自信，检索增强能提升其知识边界意识，提高判断能力。检索结果质量直接影响LLM的依赖性，动态利用检索增强可改善性能。

本文是LLM系列文章，针对《Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation》的翻译。

摘要

知识密集型任务（例如，开放领域问答（QA））需要大量的事实知识，并且经常依赖外部信息来提供帮助。最近，大型语言模型（LLM）（例如，ChatGPT）在用世界知识解决一系列任务方面表现出了令人印象深刻的能力，包括知识密集型任务。然而，目前尚不清楚LLM对其事实知识边界的感知能力，特别是在结合检索增强时的表现。在本研究中，我们对LLM的事实知识边界以及检索增强如何影响开放域QA中的LLM进行了初步分析。特别是，我们关注了三个主要的研究问题，并通过检验LLM的QA性能、先验判断和后验判断对其进行了分析。我们展示的证据表明，LLM对其回答问题的能力和回答的准确性有着坚定不移的信心。此外，检索增强被证明是提高LLM知识边界意识的有效方法，从而提高其判断能力。此外，我们还发现，LLM在制定答案时倾向于依赖所提供的检索结果，而这些结果的质量会显著影响其依赖性。复制此作品的代码可在https://github.com/RUCAIBox/LLM-Knowledge-Boundary。