DRAGIN: Dynamic Retrieval Augmented Generation based on the Real-time Information Needs of LLMs

本文是LLM系列文章，针对《DRAGIN: Dynamic Retrieval Augmented Generation based on the
Real

摘要

动态检索增强生成（RAG）范式主动决定在大型语言模型（LLM）的文本生成过程中何时检索以及检索什么。该范式有两个关键要素：确定激活检索模块的最佳时刻（决定何时检索）和在触发检索后制定适当的查询（决定检索内容）。然而，当前的动态RAG方法在这两个方面都不足。首先，决定何时检索的策略通常依赖于静态规则。此外，决定检索内容的策略通常仅限于LLM的最新句子或最后几个token，而LLM的实时信息需求可能跨越整个上下文。为了克服这些限制，我们引入了一个新的框架DRAGIN，即基于LLM实时信息需求的动态检索增强生成。我们的框架专门设计用于在文本生成过程中根据LLM的实时信息需求来决定何时检索以及检索什么。我们在4个知识密集型生成数据集上对DRAGIN和现有方法进行了全面评估。实验结果表明，DRAGIN在所有任务上都取得了优异的性能，证明了我们方法的有效性。

1 引言

2 相关工作

3 方法

4 实验设置