AI大模型：从 RAG 1.0到RAG 2.0，这次做对了什么？大模型入门到精通，收藏这篇就足够了！

RAG是目前最流行的补充生成式人工智能模型的方式，最近 RAG 的开创者提出了新的上下文语言模型 (CLM) ，他们称之为“ RAG 2.0 ”。

今天让我们一块来从RAG目前的原理和缺点出发，看看他们所提出的RAG2.0是否能够为行业带来新的希望。

LLM的时间有效性

您应该知道，所有独立的大型语言模型 (LLM)（例如 ChatGPT 等）都有知识截止点。

这意味着预训练是一次性的练习（与持续学习方法不同）。换句话说，LLM 掌握的数据是在某个时间点之前的。

例如，在写文章时，ChatGPT 更新至 2023 年 4 月。因此，他们不准备回答该日期之后发生的事实和事件。

而这就是 RAG 发挥作用的地方。

语义相似性

顾名思义，这个想法是从已知的数据库中检索数据，这些数据是LLM以前从未见过的数据，并将其实时输入到模型中，以便它已经更新，在语义上相关的上下文来提供准确的答案。

但这个检索过程是如何进行的呢？

整个架构源于一个原则：检索与请求或 prompt 上下文相关的语义有意义的数据的能力。

这个过程涉及到三个元素的使用：

1. embedding 模型
2. 检索器，通常是矢量数据库
3. 还有生成器，LLM

首先也是最重要的，为了使此检索过程正常进行，您需要对数据进行 embedding ，即数字向量化。

更重要的是，这些嵌入具有相似性原则：相似的概念将具有相似的向量。

完成embedding后，我们将它们插入向量数据库（检索器）。

应用相似性原则

然后，每当用户发送如下请求*“给我与‘黄猫’类似的结果”时，*矢量数据库就会执行“语义查询”。

通俗地说，它提取与用户查询最接近的向量（距离）。

由于这些向量代表基本概念，因此相似的向量将代表相似的概念，在本例中是其他猫。

一旦我们提取了内容，我们就构建 LLM prompt，封装包括：

• 用户的请求
• 提取的内容
• 一般来说，还有一组系统指令

简而言之，这就是 RAG，一个为用户实时查询提供相关内容以增强 LLM 响应的系统。

RAG 系统之所以起作用，首先要归功于LLM的最大超能力：上下文学习，它允许模型使用以前未见过的数据来执行准确的预测，而无需权重训练。

但这个过程听起来好得令人难以置信，当然，事情并不像看起来那么令人惊奇。

RAG的问题：缝合怪

前 RAG 系统做一个形象的比喻，就是下面的裤子：

尽管这些裤子可能适合某些观众，但大多数人永远不会穿它们，因为没有统一性，尽管打补丁的初衷是希望让人接受。

这种类比背后的原因是，标准 RAG 系统组装了三个不同的组件，这些组件分别经过预先训练，并且根据定义，它们从来不应该组合在一起。

而在RAG 2.0系统中从一开始就被定义为“一件事”。

RAG2.0

我们将上下文语言模型 (CLM) 与跨多个轴的冻结 RAG 系统进行了比较：

• 开放域问答： 我们使用规范的自然问题（NQ）和TriviaQA数据集来测试每个模型正确检索相关知识并准确生成答案的能力。我们还在单步检索设置中评估 HotpotQA (HPQA) 数据集上的模型。所有数据集都使用完全匹配 (EM) 指标。
• 忠实性： HaluEvalQA 和 TruthfulQA 用于衡量每个模型保持基于检索到的证据和幻觉的能力。
• 新鲜度： 我们使用网络搜索索引来衡量每个 RAG 系统泛化到快速变化的世界知识的能力，并在最近的 FreshQA 基准测试中显示准确性。

RAG 2.0的核心创新在于它的端到端优化设计，将语言模型和检索器视为一个整体进行训练和微调。这种设计不仅提高了模型在特定任务上的准确性，也提升了其适应新问题的能力，使其在多项标准测试中达到了前所未有的性能水平。

与传统的 RAG 系统相比，RAG 2.0能够更有效地处理知识密集型任务，因为它不受训练期间接触资料的限制。通过动态检索外部资料，如Wikipedia、Google或内部公司文件，RAG 2.0能够获取并利用最新、最相关的信息来增强其回答的准确度和可靠性。

在实践中，整个系统在连接时进行端到端训练，就像假设LLM应该始终有一个与之绑定的矢量数据库以保持更新。

这意味着，在反向传播过程中，训练这些模型的算法，梯度不仅通过整个 LLM 传播，而且还通过检索器传播，以便整个系统作为一个整体从训练中学习数据。

结果也证明了这一点：

尽管使用的独立模型肯定比 GPT-4 差，但这种新方法的性能优于 GPT-4 和其他检索系统之间所有其他的 RAG 1.0 组合。

原因很简单：在 RAG 1.0 中，我们单独训练事物，然后将它们缝合在一起，并希望得到最好的结果。但在 RAG 2.0 中，情况大不相同，因为所有组件从一开始就在一起。

但尽管 RAG 2.0 的优势显而易见，但仍然存在一个大问题。

RAG的未来面临挑战

尽管 RAG 2.0 看起来似乎带来了巨大的好处**，因为它的设计专门针对不愿意与 LLM 提供商共享机密数据的公司，但现实中它的落地面临巨大挑战。**

超长上下文

我相信您非常清楚这样一个事实，即我们今天的前沿模型，例如 Gemini 1.5 或 Claude 3 等模型，拥有巨大的上下文窗口，在其生产发布的模型中多达 100 万个token（75 万个单词），而在实验室中更是达到了1000万token（750 万个单词） 。

通俗地说，这意味着这些模型可以在每个提示中输入非常长的文本序列。

作为参考，《指环王》书籍总共有 576,459 个单词，而《哈利·波特》的整本书传奇大约有 1,084,170 个单词。因此，一个 750 万字的上下文窗口可以在每个提示中将两个故事组合在一起，五倍。

在这种情况下，我们真的需要一个知识库检索器，而不是仅仅在每个prompt中提供信息

放弃此选项的原因之一可能是准确性。序列越长，模型检索正确的上下文就越困难，对吗？

另一方面，RAG 过程允许仅选择语义相关的数据，而不是在每个 prompt 中提供整个上下文，从而使其整体上成为一个更高效的过程。

然而，的研究正在超长上下文中，LLM的工作也显示出几乎 100% 的准确性。

这些模型无论长度如何都能表现出惊人性能的背后的技术支持是，这些模型的基本操作符——注意力机制——具有绝对的全局上下文，因为注意力机制迫使序列中的每一个单独的令牌（也就是一个单词或子词）去关注序列中每一个其他的之前的单词。

这确保了无论依赖关系有多远，无论信号有多小（关键信息可能存储在一个距离数百万单词的单个单词中），模型应该能够——而且确实能够——检测到它。

因此，在我看来，RAG 最终能否生存并不取决于准确性，而是取决于技术之外的另一个关键因素：

成本。

需要商业落地来验证

如今，由于 Transformer 无法压缩上下文，较长的序列不仅意味着成本的二次增加（序列增加 2 倍意味着计算成本增加 4 倍，或者增加 3 倍意味着计算成本增加 9 倍），而且还意味着由于KV Cache大小的增加而爆炸。简而言之，运行很长的序列是非常昂贵的。

KV缓存是模型的“缓存内存”，避免不得不重新计算大量冗余的注意力数据，否则这个过程在经济上是不可行的。这里是关于KV缓存是什么以及它如何工作的深入回顾。

简而言之，运行非常长的序列是非常昂贵的，以至于对于具有极长序列长度的模态，如DNA，甚至不考虑使用Transformer。

事实上，在像EVO这样的DNA模型中，研究人员使用了海纳（Hyena）操作符而不是注意力来避免前面提到的二次方关系。海纳操作符使用长卷积而不是注意力来以次二次方的成本捕捉长距离依赖。

本质上，虽然你在时间域中计算卷积，但你是作为频率域中的逐点乘积来计算它，这更快、更便宜。其他替代方案寻求一种混合方法，而不是完全放弃注意力，而是找到注意力和其他操作符之间的最佳平衡点，以在保持性能的同时降低成本。

总结

最近的示例包括Jamba，它巧妙地将Transformer与其他更高效的架构（如Mamba）混合在一起。

Mamba、Hyena、Attention……你可能认为我只是为了证明一个观点而随意列举一些花哨的词汇。

所有这些名字背后都归结为同一个原则：它们是揭示语言模式的不同方式，帮助我们的AI模型理解文本。

注意力机制驱动了当今99%的模型，其余的只是在尝试找到尽可能最小的性能降低的更便宜的方式，使大型语言模型（LLM）更加经济。

总而言之，我们很快就能看到极长序列的处理成本仅为目前价格的一小部分，这应该会增加对RAG架构需求的怀疑。

如果RAG可以成为平衡成本的一个好方案，那么未来应该会有更好的发展。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！