大模型开发新趋势：RAG技术架构与实战指南，小白也能上手

最新推荐文章于 2025-11-25 14:04:09 发布
原创 最新推荐文章于 2025-11-25 14:04:09 发布 · 711 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#架构 #数据库 #人工智能 #chatgpt #搜索引擎 #大数据

一、AI大模型中知识库常用框架——RAG架构图

二、RAG的技术要点

三、RAG技术可适用的业务范围有限

RAG技术方案适用场景和局限性：

1.单文档问答

2.基于文档具体内容的多文档问答

3.提问语义与文档内容相近

4.非统计类问答，比如总共有多份、带时间范围的统计、带类别统计等

四、最佳实践方案

  我们用的技术选型是数据库和RAG融合，即将数据比如主题词保存到数据库中。我们将文档整理为结构化数据（数据库，es索引或表格），选择强化大模型的Sql-Call的能力，来完成对任务的处理。同时用RAG技术进行兜底。

完整版此处有技术架构图

 让大模型解决精确计算和统计的问题，业界常见的方法就是生成python代码，外挂数据库和外挂知识库。大模型负责描述需求和生成指令，由外挂的模进行计算和统计部分。

业界技术方法优缺点对比：

优点缺点
将计算需求改成python代码，运行代码后得到结果。大模型充分接触过相关任务，通用性强，做通用任务时不需要做额外的训练。深入到具体垂直场景之后，准确率很低。 不可预置人工定义的概念，无法做定制扩展。
使用数据库（关系型数据库，ES等）统计结果精准，可以预置人工定义的概念，可以更新知识便捷，可读性和可解释性好开发工作量较大
外挂其他计算和统计工具，比如：Pandas业界有成熟的实践经验，只需预定义数据库的字段而无需建库，开发成本低，准确率较高不可预置人工定义的概念

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

0代码搞定ChatBI！Doris+DeepSeek+Dify保姆级搭建教程：从环境到可视化全流程，附可复用DSL（小白也能上手）
weixin_52610848的博客
10-03 898
本文介绍了如何用Doris+DeepSeek+Dify搭建零代码ChatBI系统，实现企业级对话式数据分析。方案通过Doris作为高性能实时数据仓库，DeepSeek大模型进行自然语言转SQL处理，Dify低代码平台完成流程编排，形成完整闭环。文章详细解析了三个组件的协作逻辑和优势，并提供了从环境部署到可视化输出的6步实操指南，特别强调了Text2SQL节点的关键配置和常见避坑点。该方案以低门槛、高落地性为特点，让技术小白也能快速搭建ChatBI系统，适用于中小企业数字化转型场景。
「Azure 入门指南」：轻松部署网站与 GPT 应用的云平台
shinuone的博客
07-22 1222
Microsoft Azure（读作：阿-朱-儿）：是微软推出的全球云计算平台，就像 " 云上的超级电脑工厂 " ，能让你几分钟内在网上创建服务器、网站、数据库、AI 模型等。
LLM大模型应用入门：RAG技术详解与实战指南
2301_81888214的博客
04-07 1095
LLM大模型应用入门：RAG技术详解与实战指南
收藏必备！从零构建智能RAG系统：LangChain+LangGraph实战指南，小白也能上手的大模型应用开发
2401_84815887的博客
08-28 806
本文详细介绍了如何构建生产级检索增强生成(RAG)系统，通过工业设备故障维修手册案例，展示了从数据预处理、多策略分块到智能体(Agent)驱动的RAG流程全链路技术。文章使用LangChain、LangGraph和RAGAS等工具，实现了规划、执行、反思和工具调用能力，并通过案例测试和RAGAS评估验证了系统性能，为开发者提供了从原型到生产级的完整实践指南。
大模型应用技术学习指南：RAG从入门到实战，收藏这篇就够了！
2401_84204413的博客
10-31 1497
大模型技术学习应注重实践而非理论，看似简单的RAG技术在实际应用中面临诸多挑战。大模型本质是"会犯错的人"，通过Agent智能体赋予其工具使用能力，并需具备任务拆解与规划能力。大模型应用技术借鉴人类解决问题的哲学思想，将人类处理复杂问题的能力交付给模型。真正的掌握需要多实践、少思考，因为"纸上得来终觉浅，觉知此事要躬行"。
大模型适配入门：3种核心技术（全参数微调/LoRA/RAG）对比，小白也能看懂的选型指南
kaka0722ww的博客
10-09 912
大模型适配入门：3种核心技术（全参数微调/LoRA/RAG）对比，小白也能看懂的选型指南
收藏！小白也能懂：RAG技术如何解决大模型最头疼的四个问题
2401_85154887的博客
10-30 639
RAG（检索增强生成）技术通过为大模型添加实时更新的知识库，有效解决四大痛点：知识过期、幻觉生成、专业领域回答质量差及答案不可溯源。其核心是让大模型从"闭卷考试"变为"开卷考试"，先检索相关资料再生成答案。这一技术已在教育、企业、医疗等多个场景应用，使大模型回答更准确、专业且有据可查，显著提升AI系统的实用性和可靠性。
混合专家模型(MoE)详解：大模型架构创新与实战应用指南！
2401_84204413的博客
11-12 1115
混合专家模型(MoE)是一种基于Transformer的稀疏架构，通过门控网络将输入智能分配给不同专家处理。相比稠密模型，MoE具有更快的预训练和推理速度，但需要更多显存。MoE面临负载均衡、训练稳定性等挑战，可通过辅助损失、Router z-loss等技术优化。MoE适合高吞吐量场景，在固定计算资源下能实现更优效果，是提升大模型参数效率的关键技术。
【大模型入门】小白也能懂的RAG实战指南：3个调优技巧让企业效率提升80%！
Trb701012的博客
09-17 717
RAG（检索增强生成）是一种让大模型从专属资料库检索信息再生成回答的技术，与普通大模型相比具有数据专属、回答精准、时效性强的优势。应用于企业客服、金融合规、知识管理等领域，能节省70-80%的基础咨询时间。高效RAG系统需做好数据清洗与切分、优化知识库结构和设计专业Prompt，这三大环节共同决定了系统的准确性和稳定性。
大模型微调完全指南：从概念到实践，收藏级教程让小白也能上手
2401_85375186的博客
10-10 1043
本文系统介绍大语言模型微调技术，涵盖微调定义、适用场景(提升专业性、符合企业需求、个性化等)、多种微调方式(有监督微调、指令微调、对齐方法等)及参数更新策略(全参数、部分冻结、PEFT)。同时比较主流微调框架特点，帮助开发者根据需求选择合适方案，解决模型能力边界、知识时效性等问题。
从入门到精通：RAG应用开发全攻略 | 附架构演进与优化指南 | 程序员必学收藏
2401_85343303的博客
09-14 926
本文详细解析了RAG应用的经典架构与流程，包括数据索引阶段（加载、分割、嵌入、索引）和数据查询阶段（检索、生成）。文章探讨了RAG应用面临的五大挑战：检索召回精确度、大模型抗干扰能力、上下文窗口限制、RAG与微调的选择以及响应性能问题。同时，介绍了RAG架构从Naive RAG到Advanced RAG再到Modular RAG的演进过程，为开发者提供了系统性的RAG应用开发与优化指南。
书单 | 大模型的书那么多，如何快速选到适合自己的那一本？来，教你！
mama19971023的博客
08-01 3544
大模型的书这么多，该怎么选呢？本期书单就来教大家怎么快速地从众多大模型书中选到你想要的那一本！大模型入门不可错过的一本书，就是这本大模型界的经典畅销书**《大规模语言模型》**！系统性强，内容适合初学者，如果你想知道如何构建一个大模型应用，系统了解大模型的构建，选它准没错！**▊《**张奇，桂韬，郑锐，黄萱菁 著解码大语言模型奥秘，引领机器智能新时代详细介绍构建LLM的四个主要阶段：预训练、有监督微调、奖励建模和强化学习解读ChatGPT背后的核心技术配全书PPT课件。
AI原生应用领域RAG技术的未来展望
大模型应用工坊
09-22 1469
当你问ChatGPT“2024年世界杯的举办地”时，它可能会礼貌地回复“我的知识截止到2023年10月”；但当你使用新版Bing或Notion AI时，它却能准确告诉你“2026年美加墨世界杯”的最新信息。这种差异背后的关键技术，就是RAG（Retrieval-Augmented Generation，检索增强生成）。本文将围绕RAG技术，从原理到未来，为你揭开AI原生应用“知识保鲜”的秘密，并展望其如何推动智能应用从“记忆型”向“实时型”“多能型”进化。
国内大模型公司，粗略面经+感受+一些包裹
weixin_51702416的博客
05-15 996
2023年三月前后，大模型突然国内火了起来，楼主就面了一些公司，有大厂有初创，最近挺多朋友聊大模型相关的内容，对面试也感兴趣，想这里综合写一下，也希望能和各位同行交流下。各种Norm，这个频率也不低，不过比较标准的内容，没有啥特意要说的，有的考手写，有的考概念和理解（为什么管用）。网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
从传统架构到超融合：关键技术演进与架构范式转换科普
最新发布
ProgrammerPulse的博客
11-25 335
为了解决传统架构的痛点，IT行业经历了两次关键的演进。第一次是“虚拟化技术”的普及，它相当于在物理服务器上“切蛋糕”，把一台服务器的算力虚拟成多个独立的“虚拟服务器”，让不同业务可以共享同一台物理设备的资源，大大提高了算力利用率。但虚拟化技术只是解决了计算资源的共享问题，存储和网络依然是独立的“烟囱”，数据存储的瓶颈和网络配置的繁琐并没有得到根本解决。第二次演进就是“分布式技术”的兴起，它打破了存储资源的“单点限制”。
CentOS7安装Mysql5.7（ARM64架构）
2509_94177212的博客
11-23 479
看到 3、4、5 状态为开或者为 on 则表示成功。gcc 各版本下载地址： https://ftp.gnu.org/gnu/gcc/输入密码（上面操作 bin/mysqld --initialize xxx 生成）3.下载 GCC 源码，选择合适的版本，本文以 gcc-13.2.0 为例。解压安装包 mysql-5.7.27-aarch64.tar.gz。修改 mysql 用户的登陆密码(这里根据需要设置，可以略过)的版本太老，里面的动态链接库没有。将解压后的目录改名为 mysql。
Elixir与Phoenix高并发实时服务开发实践分享：函数式架构与消息推送优化经验
2501_94114373的博客
11-23 450
充分利用轻量进程实现高并发连接函数式架构保证代码可维护性异步数据库访问和缓存策略提升响应速度消息推送与任务队列确保实时性和稳定性监控与日志保障系统可观测性Elixir + Phoenix 通过函数式编程和轻量级进程，为高并发、实时服务提供了可靠、高效的开发方案，是构建大规模实时系统的理想选择。
分布式存储与对象存储在高并发互联网系统中的架构优化与工程实践经验分享
2501_94114332的博客
11-24 386
架构分层与模块化分布式存储 + 对象存储 + 多级缓存热数据快速访问，冷数据长期归档高并发读写优化并行访问、批量写入、异步写入多副本读写和负载均衡分片与副本策略动态分片与热数据均衡多副本同步与一致性保证可靠性缓存与访问策略热点数据缓存，CDN加速批量请求和Range请求优化吞吐工程化与监控闭环自动部署、扩容与迁移监控、告警、日志分析形成持续优化闭环通过合理的数据分片与副本策略、高并发读写优化、多级缓存与访问策略、容灾备份和工程化监控，分布式存储与对象存储在高并发互联网系统中能够实现。
数字孪生应用深化背景下在珠海基于 Rust 构建城市级实时三维仿真平台的体系架构与工程实践研究
2501_94054700的博客
11-24 584
传统 JSON/Protobuf 对于高频更新带来编码开销。Rust 中我们使用：Arena 分配快速复用UDS + Scatter/Gather 发送poll、eventfd、自实现多路复用循环与 Protobuf 相比：CPU 开销降低 19%~32%峰值传输速率提升约 27%使海量状态刷新可承受。Rust 为城市级数字孪生系统带来：安全、高性能、高可控的执行环境可支撑百万实体并发仿真能力可持续运转与强扩展生态保障将平台从“可展示”提升到“可推演、可参与治理”的能力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值