【RAG选型】整理20多种常用的RAG创新方法

原创已于 2025-04-15 19:22:38 修改 · 795 阅读

CC 4.0 BY-SA版权

文章标签：

于 2025-04-01 08:45:00 首次发布

7 篇文章

订阅专栏

RAG（Retrieval-Augmented Generation）技术是一种结合了检索和生成模型的创新方法，旨在通过从大规模文本库中检索相关信息来增强自然语言生成的效果。以下是20多种常用的RAG创新方法：
在这里插入图片描述

标准RAG
- 创新点：将外部知识动态注入生成过程，而无需修改LLM（大型语言模型）本身。
- 优点：简单有效，能够提升LLM的生成效果。
- 缺点：存在检索到很多与query无关的片段，增加噪声输入，需要LLM本身去提炼或挖掘利用。
GraphRAG
- 创新点：结合知识图谱与RAG，通过实体和关系建模增强语义关联，支持多跳推理和复杂查询。
- 优点：显著提高答案的全面性和逻辑性，适用于知识密集型任务（如医学、法律问答）。
- 缺点：图谱构建成本高，多模态图谱融合难度大。
Modular RAG
- 创新点：模块化设计，灵活集成检索、重排序、生成等组件，支持定制化功能（如多答案整合、多轮对话）。
- 优点：扩展性强，适应不同领域需求。
- 缺点：组件协同优化复杂，系统调试成本高。
Advanced RAG
- 创新点：在检索前后增加预处理（如查询重写）和后处理（如结果重排），提升信息相关性。
- 优点：减少噪声干扰，优化生成质量。
- 缺点：流程复杂度增加，实时性受限。

TRAQ
- 创新点：结合Conformal Prediction和贝叶斯优化，提供端到端统计正确性保证，减少生成中的虚构现象。
- 优点：首个实现开放域问答的统计可信度框架。
- 缺点：依赖检索器和生成模型的性能假设。
ColBERT
- 创新点：基于张量分解的语义检索模型，通过近似矩阵乘法加速检索，支持百亿级语料库的实时查询。
- 优点：检索效率高，兼顾语义和字面匹配。
- 缺点：预计算开销大，存储需求高。

AgenticRAG
- 创新点：集成智能代理（Agent）技术，支持主动推理和用户个性化交互，如多轮对话中的上下文记忆。
- 优点：增强系统自主性，适应动态需求。
- 缺点：内存管理和计算资源消耗大。
Multimodal RAG
- 创新点：支持图像、音频等多模态数据检索与生成，如CLIP和BLIP模型的应用。
- 优点：跨模态信息整合，提升交互丰富性。
- 缺点：模态对齐技术不成熟，计算成本高。

HyDE（Hypothetical Document Embeddings）
- 创新点：生成假设性文档嵌入，引导检索过程，减少对显式知识库的依赖。
- 优点：增强零样本检索能力。
- 缺点：依赖生成模型的虚构风险。
RARE（Retrieval-Augmented Reasoning Engine）
- 创新点：主动拆解用户问题为子查询，多轮迭代优化检索结果，模仿人类推理过程。
- 优点：解决复杂问题的多跳推理需求。
- 缺点：响应延迟显著增加。
RA-DIT
- 创新点：结合微调（Fine-tuning）与RAG，通过参数调整优化检索与生成的协同。
- 优点：模型适应性强，支持领域定制。
- 缺点：训练数据需求量大。
DSP（Demonstrate-Search-Predict）
- 创新点：在推理阶段动态结合示例检索、搜索和预测，提升生成可控性。
- 优点：灵活适应多样化任务。
- 缺点：示例选择对性能影响大。
RETRO
- 创新点：在预训练阶段引入检索机制，增强模型的知识内化能力。
- 优点：生成内容更准确，减少幻觉。
- 缺点：预训练成本极高。
Self-RAG
- 创新点：模型自主决定何时检索，动态调整生成策略，平衡检索成本与效果。
- 优点：自适应性强，资源利用率高。
- 缺点：需要复杂的提示工程。

KG2RAG
- 创新点：利用知识图谱来增强LLM生成效果，将检索文档与利用图谱两种方式融合起来。
- 优点：结构化知识利用率高。
- 缺点：图谱更新和维护复杂。
CoRAG（Collaborative RAG）
- 创新点：多模型协作检索与生成，通过投票或加权融合提升结果鲁棒性。
- 优点：减少单一模型偏差。
- 缺点：系统集成复杂度高。