大模型RAG、ROG、RCG概念科普

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

1. 大模型应用向开发路径：AI代理工作流
2. 大模型应用开发实用开源项目汇总
3. 大模型问答项目问答性能评估方法
4. 大模型数据侧总结
5. 大模型token等基本概念及参数和内存的关系
6. 大模型应用开发-华为大模型生态规划
7. 从零开始的LLaMA-Factory的指令增量微调
8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
9. 基于Langchain-chatchat的向量库构建及检索（附代码）
10. 一文教你成为合格的Prompt工程师
11. 最简明的大模型agent教程
12. 批量使用API调用langchain-chatchat知识库能力
13. langchin-chatchat部分开发笔记（持续更新）
14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
15. 大模型RAG性能提升路径
16. langchain的基本使用
17. 结合基础模型的大模型多源信息应用开发
18. COT：大模型的强化利器
19. 多角色大模型问答性能提升策略（附代码）
20. 大模型接入外部在线信息提升应用性能
21. 从零开始的Dify大模型应用开发指南
22. 基于dify开发的多模态大模型应用（附代码）
23. 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
24. 快速接入stable diffusion的文生图能力
25. 多模态大模型通过外接数据方案实现电力智能巡检（设计方案）
26. 大模型prompt实例：知识库信息质量校验模块
27. 基于Dify的LLM-RAG多轮对话需求解决方案（附代码）
28. Dify大模型开发技巧：约束大模型回答范围
29. 以API形式调用Dify项目应用（附代码）
30. 基于Dify的QA数据集构建（附代码）
31. Qwen-2-7B和GLM-4-9B：大模型届的比亚迪秦L
32. 文擎毕昇和Dify：大模型开发平台模式对比
33. Qwen-VL图文多模态大模型微调指南
34. 从零开始的Ollama指南：部署私域大模型
35. 基于Dify的智能分类方案：大模型结合KNN算法（附代码）
36. OpenCompass：大模型测评工具
37. 一文读懂多模态大模型基础架构
38. 大模型管理平台：one-api使用指南
39. 大模型RAG、ROG、RCG概念科普

---

---

概念

RAG (Retrieval-Augmented Generation) 是我们最常能听到技术概念，它通过将外部数据源整合到大型语言模型中，以增强模型的能力。这种方法使得模型能够利用私有数据，而无需重新训练或微调。

ROG (Retrieval-OFF Generation) 则是一种检索器被完全禁用的生成方法，语言模型仅依赖自身的知识库来生成响应，最朴素的大模型问答即可看作ROG。

RCG (Retrieval-Centric Generation) 是一种将大型语言模型和检索器在上下文解释和知识记忆方面的角色区分开的方法。这种方法可能提高生成AI系统的性能和可解释性，强调了检索器在知识记忆方面的重要性，同时将上下文解释的任务更多地交给了语言模型。

更清晰地解释如下：

知识整合方式：

RAG：在RAG中，检索到的外部知识与语言模型内置的知识库相结合，生成的文本可能包含来自多个信息源的混合信息。
RCG：RCG侧重于使用检索到的知识作为生成文本的主要信息源，语言模型则利用这些信息来构造回答，从而确保知识的来源清晰可追溯。
生成文本的准确性和可靠性：

RAG：由于RAG结合了外部检索知识和内部模型知识，可能在某些情况下导致生成的信息不够精确或者产生“幻觉”（hallucinations），即模型生成了不真实或不准确的信息。
RCG：RCG通过明确分离上下文解释和知识记忆的角色，有助于降低生成不准确信息的风险。这种方法限制了模型生成内容的自由度，更多地依赖于检索到的确切信息，从而提高了生成文本的准确性和可靠性。

即：RAG中会混用外部检索到的上下文以及大模型内部的知识，而RCG完全使用外部检索的上下文

RCG实现

大模型问答系统落地时，如果想要让模型仅停留在辅助层面，需要模型回答泛化性强、范围广，则普通构建RAG即可；但如果出于精度除非，需要尽量杜绝大模型幻觉，让大模型完全按照给定的上下文进行回答，则需要RCG。
RCG其实完全基于大模型很难实现，很难从技术上将RCG方法中所提到的在语言模型和检索器之间进行明确的角色分离进行实现，模型内部的参数化知识本身就很难与外部知识进行解耦。
例如https://github.com/RCGAI中使用prompt进行区分，其效果并不好。
实际上，可行的方案是在检索器和优质知识库后外接接一个T5生成模型【小模型】进行文档生成，这样可以比较完整好地实现RCG，但代价是其整个问答系统泛化能力、回答质量基本上均取决于知识库范围和质量，其性能收到一定程度上的约束。