【收藏必备】RAG技术四代演进：程序员必学的大模型应用核心技能

最新推荐文章于 2025-12-05 11:17:30 发布

原创最新推荐文章于 2025-12-05 11:17:30 发布 · 708 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #大模型入门 #大模型学习 #AI大模型 #RAG #大模型 #LLM

部署运行你感兴趣的模型镜像

前三代 RAG 进化小史

第一代 RAG ,是以 embeding + 全文检索为基础做召回，以rerank模型为精排。这代其实RAG受限于当时的技术条件而诞生的一个技术，那个时候大模型窗口普遍4-8k，并发少，速度慢，模型效果也一般，所以只能采用传统技术来做召回，并且采用小模型(rerank)来做排序。第一代RAG解决了从无到有的问题。下图是一代 RAG 典型的流程。

第一代RAG 最大的问题就出在召回方案缺乏语义理解，受限于 embeding 对文本长度的支持，还长期受限于文本碎片化的困扰。后续RAG公司没有从根本上去解决这个问题，而是不断的在其上打补丁比如，加入实体图搜索，在数据预处理上进行大量场景定制，在召回策略上也要进行场景定制。一代RAG天花板太低，实际上效果很难再提升，唯一的出入就是定制，但这样很难控制成本。

随着大模型技术的发展，我们推出了第二代 RAG , 该RAG核心是使用大模型做召回，解决了海量数据召回速度和成本问题，同时高度优化窗口的使用率，彻底解决语义召回的难题。效果也是出奇的好，并且实际成本相比定制化RAG 也更低，成本很透明：

但是第二代依然有明显的缺陷，对于需要复杂拆解的问题比较困难，下面图片是个例子：

于是我推出了第三代 RAG , Agentic RAG, 基于二代的基础上，我们引入了 Agentic 范式，并增加了联网以及规划能力，从而使用通用的方式解决了，下推演示了这种规划能力：

通过提前拆解规划问题，从而将复杂的问题拆解成一些简单的信息召回问题，然后结合多轮召回，最后给出答案。

这就是第三代 Agentic LLM Native RAG. 第三代 RAG 是已经 RAG 的顶级形态。那么第四代 RAG 进化方向应该在哪呢？

第四代RAG

经过前三代RAG的积累，第四代 RAG 在使用方式开始进入新的阶段。传统方式将 RAG 作为一个服务（比如兼容 OpenAI 接口），比如这样：

auto-coder.rag serve --lite --port 8102 \
--doc_dir ./byzer-llm \
--model v3_chat

然后就可以通过 OpenAI SDK 通过 127.0.0.1:8102 进行访问了。这种方式对于和其他产品结合并不方便。

为此，我们提供了命令行模式：

echo "byzer-llm prompt 函数是什么" | auto-coder.rag run  \
--doc_dir ./byzer-llm --model v3_chat \
--output_format text \
--agentic

这意味着你可以随时随地的对任意一个目录进行 RAG 查询。命令行的方式几乎可以被任何Agent 调用，你可以很轻松的嵌入到 Cursor/Auto-Coder/Claude Code/Codex/Qoder 中，你只需要给这些 Code Agent 通过 Rule 添加一个简单的使用说明， Code Agent 就会在合适的时候使用知识库进行学习：

除了命令行，我们也提供了 Java，Go, NodeJS ,Python 的绑定，比如Java，你可以添加如下依赖：

<dependency>
<groupId>tech.mlsql</groupId>
<artifactId>autocoder-rag-sdk</artifactId>
<version>0.0.2</version>
</dependency>

然后可以写类似的代码：

package com.example;
import com.autocoder.rag.sdk.RAGClient;
import com.autocoder.rag.sdk.RAGConfig;
import java.util.stream.Stream;
import java.util.stream.Collectors;
public class Main {
public static void main(String[] args) {
RAGConfig config = new RAGConfig("./byzer-llm");
config.setModel("v3_chat");
RAGClient client = new RAGClient(config);
String query = "byzer-llm prompt function是什么";
try {
Stream<String> stream = client.queryStream(query);
String result = stream.collect(Collectors.joining("\n"));
System.out.println(result);
} catch (Exception e) {
System.err.println("Error: " + e.getMessage());
System.exit(1);
}
}
}

就完成了流式的 RAG 查询，可以将 RAG 方便的各种集成到用户的应用中。

第四代RAG 无需部署即可实现开箱即用，并且能够让各种语言以库的方式被直接使用。所以我们将第四代 RAG 称为 Agentic LLM Native RAG SDK. 你也可以简称为 RAG SDK.

RAG 是未来所有AI应用的基础设施，而 auto-coder.RAG 提供了更加便利友好方式和集成方式，以及最优秀的查询效果。期待大家使用和集成。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。