DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

本文是LLM系列文章，针对《DeepRAG: Thinking to Retrieval Step by Step for Large Language Models》的翻译。

摘要

大型语言模型（LLMs）在推理方面表现出了巨大的潜力，但由于参数知识的及时性、准确性和覆盖范围，它们仍然存在严重的事实幻觉。同时，由于无效的任务分解和冗余检索，将推理与检索增强生成（RAG）集成仍然具有挑战性，这可能会引入噪声并降低响应质量。在本文中，我们提出了DeepRAG，这是一个将检索增强推理建模为马尔可夫决策过程（MDP）的框架，实现了战略性和自适应检索。通过迭代分解查询，DeepRAG在每一步都动态地确定是检索外部知识还是依赖参数推理。实验表明，DeepRAG提高了检索效率，同时将答案准确率提高了21.99%，证明了其在优化检索增强推理方面的有效性。

1 引言

<