【 LLM论文日更｜检索增强：大型语言模型是强大的零样本检索器 】

•  论文：https://aclanthology.org/2024.findings-acl.943.pdf
• 代码：GitHub - taoshen58/LameR
• 机构：悉尼科技大学 & 微软 & 阿姆斯特丹大学 & 马里兰大学
• 领域：retrieval & llm
• 发表：ACL2024

研究背景

1. 研究问题：这篇文章要解决的问题是如何在零样本场景下利用大型语言模型（LLM）进行大规模检索。具体来说，作者提出了一种简单的方法，称为“大型语言模型作为检索器”（LameR），通过将查询与其潜在答案候选结合，提升零样本检索的性能。
2. 研究难点：该问题的研究难点包括：自监督检索器的性能较弱，导致整个流程瓶颈；直接将LLM与自监督检索器结合会产生大量无关或域外的答案，降低查询增强的效果。
3. 相关工作：该问题的研究相关工作有：Yu等人提出的生成-读取管道；Dai等人提出的少样本密集检索方法；Dua等人提出的领域适应数据增强方法；Gao等人提出的基于假设文档嵌入（HyDE）的零样本密集检索方法；Jeronymo等人利用微调排序器过滤LLM生成数据的少样本方法；Saad-Falcon等人设计的两阶段LLM管道；Wang等人利用少样本查询-文档示例生成新查询的方法。

研究方法

这篇论文提出了“大型语言模型作为检索器”（LameR）用于解决零样本大规模检索问题。具体来说，

1. 非参数词典检索：首先，作者采用BM25方法进行大规模检索。BM25的核心思想是根据查询词和文档之间的词汇频率和逆文档频率对文档进行排序。其相关性评分公式如下：