Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach

本文是LLM系列文章，针对《Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach》的翻译。

摘要

检索增强生成（RAG）已成为大型语言模型（LLM）高效处理过长上下文的强大工具。然而，最近的LLM，如Gemini1.5和GPT-4，显示出直接理解长上下文的卓越能力。我们对RAG和长上下文（LC）LLM进行了全面比较，旨在利用两者的优势。我们使用三种最新的LLM在各种公共数据集中对RAG和LC进行基准测试。结果表明，当资源充足时，LC在平均性能方面始终优于RAG。然而，RAG显著降低的成本仍然是一个明显的优势。基于这一观察，我们提出了SELF-ROUTE，这是一种简单而有效的方法，基于模型自反射将查询路由到RAG或LC。SELFROUTE显著降低了计算成本，同时保持了与LC相当的性能。我们的研究结果为使用RAG和LC的LLM的长上下文应用提供了指导。

1 引言

2 相关工作

3 RAG与LC基准比较

4 自路由

5 分析

6 结论

本文对RAG和LC进行了全面的比较，强调了性能和计算成本之间的权衡。虽然LC在长期上下文理解方面表现出卓越的性能，但RAG仍然是一个可行的选择，因为当输入大大超过