c_wtnl的博客

原创 LLM 开放领域QA+检索增强 论文 When Not to Trust Language Models: Investigating Effectiveness of Parametric and

尽管大型语言模型(LMs)在各种任务上的表现令人印象深刻，但它们仍然在需要丰富世界知识的任务上挣扎，这意味着在它们的参数中编码丰富的世界知识的困难。本文旨在通过在两个开放域以实体为中心的QA数据集上进行大规模的知识探索实验，了解LMs在记忆事实知识方面的优势和局限性:POPQA是我们的新数据集，包含14k个关于长尾实体的问题，EntityQuestions是一个广泛使用的开放域QA数据集。我们发现LMs在不太流行的事实知识中挣扎，检索增强在这些情况下有显著的帮助。