训练大模型自动在RAG和记忆间选择

现如今，检索增强生成(Retrieval-augmented generation，RAG)管道已经能够使得大语言模型(Large Language Models，LLM)在其响应环节中，充分利用外部的信息源了。不过，由于RAG应用会针对发送给LLM的每个请求，都去检索外部信息，而LLM实际上已经包含了大量无需检索即可使用的知识，因此整个过程反而显得效率低下。

那么，我们是否可以通过配置LLM，使其只在内部知识不足的情况下，才去使用RAG呢?目前，博尔扎诺大学(University of Bozen-Bolzano)和布鲁诺-凯斯勒基金会(Fondazione Bruno Kessler)的研发人员开发的一项“自适应LLM(Adapt-LLM，https://arxiv.org/abs/2404.19705)”技术，可以训练LLM动态地确定它们是否需要在问题解答任务中，检索额外的上下文信息，并避免不必要的外部检索，来提高LLM应用的效率。

记忆与检索

通常，LLM回答问题的方法主要有两种。这两种方法好比闭卷答题与开卷答题：

第一种是依靠在训练过程中获得的参数记忆。而这些参数记忆的局限性在于它需要完全基本语料的训练。你可以通过微调或少量提示技术，来提高参数记忆的性能，从而将模型的注意力集中在相关参数上。不过，在模型必须动态使用新的信息(例如：近期的新闻或是未包含在训练语料库中的私人信息)的情况下，这种方法并不实用。

第二种是使用信息检索器为模型提供上下文信息。而检索增强生成就属于这种方法。不过，信息检索的问题在于，有时模型并不需要额外的上下文信息，其内部知识足以回答问题。

而作为人类的我们，使用的却是混合方法。例如，当我们对某个问题的答案了如指掌时，我