15种高级RAG技术（三）检索后优化_检索后优化rag-优快云博客

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/141649815

三、检索后优化

检索后优化涵盖了在检索发生之后但在最终响应生成之前所采用的策略或技术。此时一个关键的考虑因素是：即使已经部署了所有的检索前和检索策略，也不能保证检索到的文档包含 LLM 回答查询所需的所有相关信息。这是因为检索到的文档可能是以下任意或所有类别的混合物：

Relevant documents
Related but irrelevant documents
irrelevant and unrelated documents
Counterfactual documents（即与正确相关文档相矛盾的文档）

检索后优化策略包含以下几个方面：

使用重排模型
prompt compression
Corrective RAG

1、使用重排模型

Cuconasu 等人的研究《The Power of Noise: Redefining Retrieval for RAG Systems[1]》表明：related but irrelevant documents are the most harmful to RAG systems。他们发现“在某些情况下，准确率下降超过-67%。更重要的是，仅添加一个相关文档就会导致准确率急剧下降，峰值达到-25%。

更令人惊讶的是，同一研究人员发现不相关的文档“如果放置得当，实际上有助于提高这些系统的准确性。”那些构建 RAG 系统的人应该关注这类研究，但也应对自己的系统进行彻底的 A/B 测试，以确认研究结果是否适用于他们的系统。Cuconasu 的研究还表明，将最相关的文档放置在提示中最接近查询的位置可以提高 RAG 的性能。针对这个现象，重排序模型优化了给定查询的块搜索结果的优先级。这种技术在与混合检索系统和查询扩展结合使用时效果很好。相对于向量召回，重排模型的性能略差，但是更能挖掘出 query 和召回文档之间的相关性。

2、prompt compression

LLMs 可以处理每个块中的信息，以过滤、重新格式化甚至压缩最终进入生成提示的信息。LLMLingua[2] 是这种方法的一个有前途的框架。LLMLingua 使用一个小型语言模型，如 GPT2-small 或 LLaMA-7B，来检测并移除提示中不重要的 tokens。它还使得在黑箱 LLMs 中使用压缩提示进行推理成为可能，实现了高达 20 倍的压缩率，同时性能损失最小。LongLLMLingua[3] 更进一步，通过在进行压缩时考虑输入查询，移除一般不重要和对查询不重要的 tokens。值得注意的是，除了完全理解和使用压缩提示来回答查询（例如，作为 RAG 的一部分），即使提示对人类不可读，GPT-4 也可以用于逆向或解压输入。

3、Corrective Rag

Corrective RAG[4] 是一种由 Yan 等人首次提出的方法，其中 T5-Large 模型被训练用于在将结果提供给大型语言模型（LLM）以生成最终响应之前，识别 RAG 结果是否正确/相关、模棱两可或不正确。未通过正确/相关或模棱两可分类阈值的 RAG 结果将被丢弃。与使用经过微调的 Llama-2 7B 模型和 Self-RAG 的批判方法相比，使用 T5-Large 模型要轻量得多，并且可以与任何大型语言模型结合使用。