论文:
代码:https://github.com/mingdali6717/Ensemble-of-Retrievers
《Unraveling and Mitigating Retriever Inconsistencies in Retrieval-Augmented Large Language Models》详细探讨了检索增强型大型语言模型(RALMs)中的检索器(Retriever)不一致性问题,并提出了一种解决方案
1. 研究背景与问题识别
- 背景:大型语言模型(LLMs)在许多自然语言处理(NLP)任务中表现出色,但在处理事实性错误和过时知识方面存在挑战。
- 问题:尽管RALMs通过检索外部知识源来缓解这些问题,但它们在示例级别的性能上并不总是优于原始的检索无关的语言模型(LMs),有时甚至会影响性能。
2. 检索器不一致性的观察
- 现象:作者观察到检索器之间的性能存在显著的不一致性,即使在检索增强和检索无关的LMs之间,以及不同检索器之间。
- 实验:通过