构建生产级 RAG 系统前，必须搞懂的 7 个核心问题

最新推荐文章于 2025-11-03 19:51:26 发布
原创 最新推荐文章于 2025-11-03 19:51:26 发布 · 978 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习 #llama #ocr #transformer #算法

在人工智能领域，如何使大模型既能理解外部数据，又能高效回答复杂问题，一直是生产级应用开发中的核心挑战。检索增强生成（RAG, Retrieval-Augmented Generation）技术正为这一难题提供解决方案。本文将带您深入探索如何构建生产级 RAG 应用，解决常见技术难题，并优化性能表现。

一、使用大模型理解外部数据的两种范式

在实际开发中，大模型理解外部数据的关键有两种主要范式：

1. 检索增强生成（RAG, Retrieval-Augmented Generation）

RAG 的核心思路是保持语言模型（LLM, Large Language Model）固定，通过外部数据检索来动态提供上下文：

  • 将外部知识存储在向量数据库（Vector Database）或其他形式的存储中。

  • 用户发出查询时，检索相关内容并与查询一起输入模型生成答案。

示例：一个电商平台可以使用 RAG 技术从商品描述数据库中动态检索特定商品的详细信息，直接回答用户提问。

优点：

  • 灵活性高，数据更新直接反映在检索结果中。

  • 部署无需重新训练大模型，节省成本。

2. 微调（Fine-tuning）

通过训练过程将外部知识直接融入模型内部：

  • 全参数微调（Full Parameter Fine-tuning）：更新所有模型参数。

  • 参数高效微调（Parameter-Efficient Fine-tuning, 如 LoRA）：仅更新部分参数或添加小型适配器模块。

示例：金融机构可以通过微调训练模型回答特定行业法规相关的问题。

优点：

  • 模型生成答案的质量更高，对领域问题的理解更加深入。
3. RAG 和微调的对比

以下通过表格对比两者特点：

特性RAG微调 (Fine-tuning)
实现难度较低：无需修改模型，只需构建检索和数据管道较高：需要训练大模型并可能增加计算成本
数据更新实时更新：数据变化无需重新训练需要重新训练或微调模型
灵活性高：可动态适配不同任务和领域较低：适合特定任务或领域的模型
成本较低：无需高性能硬件即可运行较高：训练过程耗费大量计算资源
生成质量中等：依赖于检索系统的性能较高：通过定制化训练生成更精准的答案
适用场景数据快速变动、跨领域任务固定领域、需要高精度回答的场景
挑战检索相关性、幻觉现象（Hallucination）训练数据需求大、可能存在灾难性遗忘（Catastrophic Forgetting）
4. 小结

本文主要讨论 RAG，因为：

  1. 灵活性更高：RAG 不依赖于模型参数的修改，可以动态适配不同任务，尤其适合开发迭代频繁的生产级应用。

  2. 数据更新方便：RAG 能够实时反映数据更新，而微调通常需要重新训练，耗时耗力。

  3. 成本较低：构建 RAG 系统的硬件和算力需求更少，能更快部署到生产环境中。

基于以上优势，RAG 是目前开发生产级大模型应用的首选技术。因此，本文将重点讨论如何开发和优化 RAG 系统，帮助您快速构建高效解决方案。

二、开发生产级 RAG 应用必须回答的7个问题

要构建高效的 RAG 系统，开发者需要逐步回答以下关键问题：

1. RAG 系统的典型组成有哪些？

一个完整的 RAG 系统通常包含：

  • 数据摄取阶段（Data Ingestion）：收集、处理并存储结构化或非结构化数据（如文本、表格），并将其转换为向量格式存入数据库。

  • 数据查询阶段（Data Querying）：

  • 检索（Retrieval）：根据用户查询从数据库中找到最相关的信息。

  • 综合（Synthesis）：将检索内容与用户问题结合，通过大模型生成答案。

流程图示：

2. 基础 RAG 实现面临哪些挑战？

开发者通常会遇到：

  • 响应质量差：上下文不相关或不足。

  • 低精度/召回率（Low Precision/Recall）：未能覆盖关键信息或包含无关内容。

  • 幻觉现象（Hallucination）：大模型生成脱离事实的回答。

  • 信息过时：知识库未及时更新。

3. 如何提升 RAG 应用的性能？

性能优化可以从以下几方面入手：

  • 数据优化（Data Optimization）：调整数据块（Chunk）大小，添加元数据（Metadata），使用高质量的向量嵌入（Embedding）。

  • 检索优化（Retrieval Optimization）：采用混合检索（Hybrid Search, 语义+关键词）、重排序（Reranking）、递归检索（Recursive Retrieval）。

  • 综合优化（Synthesis Optimization）：引入代理系统（Agent）分解复杂问题，充分利用模型的推理能力。

  • 微调（Fine-tuning）：优化嵌入模型或直接微调语言模型。

4. 为什么评估（Evaluation）很重要？

评估是理解系统性能并发现改进空间的关键：

  • 定义清晰的基准（Benchmark）：如成功率、MRR（Mean Reciprocal Rank）、NDCG（Normalized Discounted Cumulative Gain）等。

  • 组件与整体评估结合：单独评估检索和综合模块，同时分析系统的最终生成效果。

5. 哪些技术是“必备”优化？

  • 块大小调整（Chunk Size Tuning）：在提供足够上下文和避免信息冗余之间找到平衡。

  • 元数据过滤（Metadata Filtering）：利用附加信息提升检索结果的相关性。

6. 如何利用代理（Agent）提升 RAG 性能？

通过引入代理，RAG 系统可以：

  • 进行多文档推理（Multi-Document Reasoning）。

  • 将复杂查询分解为简单步骤，并逐步获取所需信息。

7. 微调如何优化 RAG 管道？

  • 嵌入微调（Embedding Fine-tuning）：提升检索内容的相关性。

  • 模型微调（LLM Fine-tuning）：在生成专用数据集上训练，提高生成准确性。

三、总结

生产级 RAG 应用的开发是一项系统化工程，需要结合检索优化、模型调整、性能评估等多个环节。开发者可以从简单的开源工具（如 LangChain 或 Haystack）入手，快速搭建原型系统，并通过微调和性能优化迭代出高质量的解决方案。

下一步行动：如果您也想构建属于自己的 RAG 系统，不妨从设计数据摄取管道开始，通过逐步优化，探索这项技术的潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

构建企业私有RAG系统全流程：从 PDF 到智能问答的落地实践
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-01 1238
- ✅ 企业文档 → 可搜索向量的标准处理链路 - ✅ 私有知识库的快速搭建方式（Chroma / FAISS） - ✅ RAG 问答系统从输入 → 召回 → 生成 → 输出的完整闭环 - ✅ 多轮问答 / 结构化返回 / 部署上线建议 📌 实战派不是看个 demo 就算结束，而是能“封起来，用得起，上得线”。
AI Agent开发第79课-一文看懂最前沿得高级RAG+设计是如何消灭AI幻觉的架构设计
打造全国最全的AI Agent开发知识领域的博客
03-03 2467
企业落地AI经常遇到幻觉，RAG系统中如何消除幻觉呢？近来出现的RAG+、高级RAG到底是个什么样的东西呢？目前网上充斥着大量这方面的论文，很可惜这些论文或者有关的博客都是翻译别人lao wai的英语资料，连举得例子都是什么：棒球赛、超级杯，非旦没有解释清RAG+的精髓也讲得不接地气没有真正领悟到其中的要点，本篇就是总结自大量国内实战项目一线项目里的例子讲透了RAG+的Rewrite, Retrieve, Read三步到底应该怎么走才是最合理。
RAG入门教程（非常详细），RAG 的优化方案及评估入门到精通，收藏这一篇就够了！
2401_85373898的博客
11-22 1314
组成，并分两步检索，首先将query与摘要匹配过滤掉不相关的文档，并只在相关组内检索第二层文档块。这种方式虽然能够通过。
使用 LangChain、LangGraph 和 RAGAS 构建复杂的 RAG 系统
m0_59164304的博客
07-09 1138
想打造一个生产就绪的 RAG（Retrieval-Augmented Generation）系统？那可不是件简单的事儿！得一步步来，精心设计，反复迭代。咱们得先把数据收拾干净，然后试试不同的分块策略——逻辑分块和传统分块都得试试，找到最适合你的场景。接着，还要匿名化数据，减少那些模型“胡思乱想”的情况（也就是所谓的 hallucination）。为了让检索更精准，可以用子图（subgraphs）来聚焦最相关的信息，过滤掉那些没用的“噪音”。在检索层之上，还得加个计划和执行系统，靠 LLM（大语言模型）驱动，
RAG与知识库搭建，手把手教你构建RAG系统
qkh1234567的博客
11-13 4756
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
部署 Graph RAG 于生产环境
XianxinMao的博客
12-29 739
在当今数据规模和复杂性日益增长的背景下，开发有效的AI模型并将其应用于真实世界中的应用面临着重重挑战。检索增强生成（Retrieval Augmented Generation, RAG）作为整合语言模型与外部数据检索的强大解决方案，已被广泛应用于知识密集型任务中。然而，传统的RAG方法在处理全球性、结构化查询时往往无法满足需求。这时，Graph RAG技术应运而生，结合了知识图谱，为复杂问题提供了一种全新的解决方案。
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1457
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
一文搞懂大模型！（非常详细）从入门到精通，基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
weixin_45607947的博客
07-19 2078
三金哥：这么一说，把LLM叫做自然语言处理工具可能没有那么准确，LLM 更多的是理解和生成文本。不过，从你的回答上，我在思考一个很重要的问题：对于 LLM 来说，生成具有语义和语法正确性的文本是不是还不太够，生成的文本和问题如何对应上的？比如有下面的问答：问题：2022年 NBA 总冠军是谁？回答：“我认为这个意大利面,就应该拌42号混凝土,因为这个螺丝钉的长度很容易影响到挖掘机的扭矩”单纯从语义和语法正确性貌似没有很大的问题，但是确并没有回答我的问题。
万字长文：大模型时代客服系统架构演进：从传统NLP到LLM+RAG的技术跃迁之路
AI 领航者的博客
08-04 767
无论是规则引擎还是传统NLP，本质都是**“预定义逻辑”**——所有能处理的问题，都必须是工程师提前想到的。用户可能用方言提问（“我买的鞋子挤脚得很，能退不？”）；用户可能用隐喻（“你们的快递比蜗牛还慢，什么时候到？”）；用户可能问跨领域问题（“我买的手机充电慢，是不是和你们的数据线有关？”）。传统系统根本无法处理这些“未预定义”的场景——这就是它的“死穴”。规则引擎时代：客服是“工具”，只能处理预设的问题；传统NLP时代：客服是“助手”，能理解简单的语义；
大模型——RAG 的性能评估
07-17 98
RAG系统评估需关注检索与生成两大环节的关键指标。检索质量包括上下文相关性（判断信息与问题匹配度）、召回率（确保关键信息不遗漏）和精度（衡量有用信息占比）。生成质量则评估答案忠实性（是否基于检索内容）和相关性（是否准确回应问题）。这些无参考指标能有效评估系统性能，避免因未经全面测试导致的信息不准确或误导性输出问题，对高要求应用场景尤为重要。
【大模型理论篇】大模型LLM在垂直领域的应用(RAG、微调等)分析
热门推荐
源泉的小广场
07-12 1万+
大模型、RAG、检索增强生成、llm、自然语言处理、垂直领域、商业化、推荐、检索、匹配
综述：从零构建RAG系统全面指南（含代码）
llm_way的博客
04-30 739
尽管大语言模型具备出色的推理能力和广泛的通用知识，但它们在检索精确信息、获取最新数据或提供可验证的回答时常常遇到困难。检索增强生成（Retrieval-Augmented Generation，RAG）应运而生，这一创新性方法通过将大语言模型与外部知识源相结合，有效提升了其性能。本文将深入探讨RAG的概念、重要性，并使用Python和流行的开源库从零开始构建一个完整的RAG系统。
（一）使用 LangChain 从零开始构建 RAG 系统|RAG From Scratch
x32sky的专栏
07-26 1052
RAG（检索增强生成）技术通过索引、检索和生成三阶段解决大模型知识局限问题。索引阶段将外部文档分割并转换为语义向量；检索阶段根据问题匹配相关文档片段；生成阶段结合检索结果输出答案。该技术突破了大模型上下文窗口限制，实现海量数据的高效利用，其核心在于将非结构化文本转化为可计算的向量表示，并通过语义匹配连接外部知识库。文中的Python示例展示了RAG的实现流程，包括文档加载、分块处理、向量存储及检索生成等关键步骤。
写给产品经理的“AI 成本账“：Token、算力、RAG，到底在花什么钱？
最新发布
jike007gt的博客
11-03 1034
写这篇文章的初衷,是因为我见过太多产品经理，在 AI 成本面前感到无力。"这个不是技术的事吗？"我不懂算法，怎么算成本？成本管理，从来不是技术问题，而是产品问题。你不需要懂 Transformer 的数学原理，但你必须知道：• 一次对话消耗多少 Token• 一个功能的边际成本是多少• 如何在体验和成本之间找到平衡这些，才是 AI 产品经理的核心竞争力。去年那次被财务总监质问后，我花了 3 个月，把我们所有 AI 产品的成本结构吃透了。
构建生产级 RAG 系统：从数据处理到智能体（Agent）的全流程深度解析
专注RAG、Agents、Dify、Ragflow、知识图谱等大模型应用研发企业落地实践、案例教程、最新技术动态等内容，重在技术前沿、企业应用和实战，欢迎大家交流。
08-26 916
本文探讨了构建生产级检索增强生成(RAG)系统的关键技术路径。以工业设备维修手册为例，提出基于智能体的RAG架构，包含问题匿名化、任务规划、多策略检索、动态调整等核心模块。重点介绍了数据预处理流程，采用多策略分块方法（传统分块与基于文档逻辑结构的智能分块）构建多源知识库。系统整合LangChain、LangGraph和RAGAS等工具，实现从原始PDF到高质量问答的全链路解决方案，为复杂工业场景下的知识检索与推理提供了可落地的技术方案。
读懂RAG这一篇就够了，万字详述RAG的5步流程和12个优化策略
嘴巴吃糖了
01-03 1903
ChatGPT、GLM等生成式人工智能在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。但它们也存在固有局限性，包括产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差，以及对最新知识的了解有限。为了克服这些限制，提高模型的能力，有两种主要途径：一种是微调（Fine Tune）来更新模型，另一种是让他们能够与外部世界互动，以不同的形式和方式获取知识。
RAG 入门指南：从零开始构建一个 RAG 系统
mama19971023的博客
08-05 2418
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值