AUTO-RAG: AUTONOMOUS RETRIEVAL-AUGMENTED GENERATION FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《AUTO-RAG: AUTONOMOUS RETRIEVAL-AUGMENTED GENERATION FOR LARGE LANGUAGE MODELS》的翻译。

摘要

迭代检索是指模型在生成过程中不断查询检索器，以增强检索到的知识的相关性，从而提高检索增强生成（RAG）的性能的过程。现有的工作通常采用很少的样本提示或手动构建的规则来实现迭代检索。这引入了额外的推理开销，并忽略了大型语言模型（LLM）的卓越推理能力。本文介绍了Auto RAG，这是一种以LLM强大的决策能力为中心的自主迭代检索模型。Auto RAG与检索器进行多轮对话，系统地规划检索并细化查询，以获取有价值的知识。这个过程会一直持续到收集到足够的外部信息，然后将结果呈现给用户。为此，我们开发了一种在迭代检索中自主合成基于推理的决策指令的方法，并对最新的开源LLM进行了微调。实验结果表明，Auto RAG能够与检索器进行自主迭代交互，有效地利用了LLM的卓越推理和决策能力，从而在六个基准测试中取得了出色的性能。进一步的分析表明，Auto RAG可以根据问题的难度和检索到的知识的效用自主调整迭代次数，而不需要任何人为干预。此外，Auto RAG用自然语言表达了迭代检索过程，提高了可解释性，同时为用户提供了更直观的体验。

1