大模型开发新趋势:RAG技术架构与实战指南,小白也能上手

RAG原理、应用与开发实战指南 为了更好的解决大模型幻觉的问题,业界提出了基于知识检索与大模型生成相结合的技术:RAG(Retrieval - Augmented Generation)即检索增强生成。在当前大模型应用开发中,RAG为解决通用大模型知识有限和知识更新不及时等问题提供了有效方案,也得到了广泛的应用。 阅读详情

一、AI大模型中知识库常用框架——RAG架构图

二、RAG的技术要点

三、RAG技术可适用的业务范围有限

RAG技术方案适用场景和局限性:

1.单文档问答

2.基于文档具体内容的多文档问答

3.提问语义与文档内容相近

4.非统计类问答,比如总共有多份、带时间范围的统计、带类别统计等

四、最佳实践方案

  我们用的技术选型是数据库和RAG融合,即将数据比如主题词保存到数据库中。我们将文档整理为结构化数据(数据库,es索引或表格),选择强化大模型的Sql-Call的能力,来完成对任务的处理。同时用RAG技术进行兜底。

完整版此处有技术架构图

 让大模型解决精确计算和统计的问题,业界常见的方法就是生成python代码,外挂数据库和外挂知识库。大模型负责描述需求和生成指令,由外挂的模进行计算和统计部分。

业界技术方法优缺点对比:

优点缺点
将计算需求改成python代码,运行代码后得到结果。大模型充分接触过相关任务,通用性强,做通用任务时不需要做额外的训练。深入到具体垂直场景之后,准确率很低。 不可预置人工定义的概念,无法做定制扩展。
使用数据库(关系型数据库,ES等)统计结果精准,可以预置人工定义的概念,可以更新知识便捷,可读性和可解释性好开发工作量较大
外挂其他计算和统计工具,比如:Pandas业界有成熟的实践经验,只需预定义数据库的字段而无需建库,开发成本低,准确率较高不可预置人工定义的概念

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

RAG技术全面指南:解锁大模型应用的未来 RAG(检索增强生成)技术已成为大模型应用的核心支柱,通过"外挂知识库"解决大模型的幻觉问题、知识时效性和领域专业性三大痛点。技术架构从基础RAG演进到模块化RAG,工作流程包括检索、增强和生成三个核心步骤。企业级应用案例显示,腾讯云、作业帮和招商证券已成功运用RAG提升业务效能。开源框架对比分析为选型提供指导,未来趋势包括多模态RAG、GraphRAG和Agentic RAG等方向。RAG技术正驱动大模型应用向更智能、更专业的方向发展。 阅读详情

相关推荐

探索大模型应用:构建基于检索的RAG实战指南

4. Prompt模板构建构建一个符合中文对话语境的Prompt模板,用于生成问题并提供已知信息。

2401_84587944的博客 1967

【宠粉赠书】大模型RAG实战:RAG原理、应用与系统构建

为了回馈粉丝们的厚爱,今天小智给大家送上一套大模型RAG实战指南——《大模型RAG实战:RAG原理、应用与系统构建》。这是一本已经被市场公认的大模型RAG的标准性著作,极具实战性和技巧性,阅读本书,先人一步实现能力跃迁,提升你的开发技能,与我们一起在智能开发的道路上不断前行。

踏雨歌青春,诗酒趁年华 5890

航空发动机轴承故障诊断

《航空发动机主轴承故障诊断的挑战与HIT数据集研究》 摘要: 航空发动机主轴承作为关键部件,其可靠性直接影响飞行安全。然而,主轴承故障诊断面临信号信噪比低、传输路径复杂、故障类型多样、变工况运行等挑战。哈尔滨工业大学团队开发的HIT数据集为研究提供了真实工况下的实验数据,包含正常、内圈和外圈故障三种状态,具有高仿真度和强挑战性特点。研究表明,传统诊断方法在该数据集上准确率仅71-85%,突显了诊断难度。团队提出的ISONet新方法通过输入空间过参数化技术,将诊断准确率提升至99%以上,为航空发动机轴承故障诊

tyutwuxuan的博客 996

大模型好书推荐 | 大模型RAG实战:RAG原理、应用与系统构建(附PDF)

《大模型RAG实战:RAG原理、应用与系统构建》是一本由NLP和AI领域的资深技术专家联合撰写的实战指南。随着大模型技术的爆发,尤其是ChatGPT等产品的兴起,知识库问答产品迅速走红,引发了RAG(检索增强生成)系统的广泛关注与讨论。

AAI666666的博客 2124

PCIe Electrical PHY(4)-PCIE SPEC第8章指标讲解

1.1 PCIE TX SPEC TX主要关心两类参数,一类是Voltage Parameters,一类是Jitter Parameters。 其中Voltage相关参数主要关心不同preset下差分电压幅度的准确性。以及共模电压的稳定性。 PCIE spec中对Jitter相关的参数测量定义如下: 分为两大类:DDJ(Data dependent Jitter)和UJ(Uncorrelated ...

maxwell2ic的博客 5951

【Q1/论文复现】:利用 CHARLS 数据库考察抗高血压药物依从性和认知衰退

摘要: 北京大学团队基于CHARLS数据(2011-2018)的纵向研究发现,抗高血压药物高依从性能显著延缓中国45岁及以上社区中老年人的认知衰退。研究表明,坚持服药者7年内全局认知衰退速度降低0.014SD/年,记忆功能衰退减缓0.023SD/年,效果接近正常血压人群水平。研究还提示社会经济地位(SES)可能通过影响用药依从性间接调控认知衰老进程。该成果为高血压管理对认知保护提供了人群级证据,发表于《BMC Medicine》(DOI:10.1186/s12916-025-03949-8)。

dingdianbangni的博客 809

入门大模型应用开发的最佳选择,RAG入门与实战

RAG自2020年由Facebook AI Research推出后,一下子就窜红了。毕竟,它是真的帮了大忙,在解决大语言模型的“幻觉”问题上起到了关键作用。如今,Google、AWS、IBM、微软、NVIDIA等科技巨头都在支持RAG应用的开发。微软还在7月开源了一个基于图的问答系统GraphRAG,在GitHub上迅速获得了超多的star。Notion的CEOIvan Zhao大胆预测:“我认为 RAG 会彻底改变知识管理的方式,让人们摆脱繁琐的信息组织工作。

程序员鑫港的博客 945

TwinCAT3 主站动态配置 PDO 的实战技巧与性能优化

本文深入探讨了TwinCAT3主站动态配置PDO的实战技巧与性能优化策略。通过对比静态PDO的局限,阐述了动态配置在提升系统灵活性、降低网络负载和保障实时性方面的核心优势。文章提供了从环境准备、代码实现到错误排查的完整流程,并重点解析了PDO映射、SDO通道区别以及分布式时钟同步等关键概念,帮助工程师掌握EtherCAT网络性能调优的核心方法。

weixin_29213525的博客 346

学大模型RAG看这本书就够了!!—《大模型RAG实战-RAG原理、应用与系统构建》

第一章:介绍了RAG的发展第二章:介绍了Transformer相关的基本原理,包括embedding、编码器、解码器等第三章:介绍了RAG环节里比较核心的文本向量化模型。首先介绍了和文本向量化模型比较相关的基础概念。然后介绍了一些稠密向量检索模型和稀疏检索模型。第四章:这一张比较琐碎,内容也比较多:(1)在RAG场景下的提示词技巧。(2)文本切块方法,包含基于规则的以及基于模型的。(3)向量数据库的基本原理以及一些开源向量数据库。

qingkahui24689的博客 1437

从亚稳态到稳定传输:深入解析CDC跨时钟域同步的核心技术与设计实践

本文深入解析了CDC(跨时钟域同步)技术的核心问题与解决方案,重点探讨了亚稳态现象及其危害,详细介绍了同步器设计、MTBF计算方法以及单bit和多bit信号同步的实战技巧。通过Verilog代码示例和工程实践案例,帮助读者掌握从亚稳态到稳定传输的关键技术,提升数字电路设计的可靠性。

weixin_32822843的博客 247

数据中心——Vxlan基本概念1

东西流量指的就是横向流量-------例如:服务器与服务器之间交换流量南北流量指的就是纵向流量-------例如:客户端和服务器之间的流量以下主要是讲解业务平面的网络架构(一般业务平面就需要用到专用的数据中心交换机)

m0_49864110的博客 1万+

大模型 RAG 项目必看:技术架构拆解 + 实战步骤,新手也能快速上手

RAG(检索增强生成)技术架构详解:从基础到高级应用 本文节选自陈敬雷的新书《GPT多模态大模型与AI Agent智能体》,详细解析了RAG技术架构及其应用。RAG通过检索外部知识库辅助大模型生成答案,其基础架构包括七个关键环节:数据准备、分块与向量化、建立索引、检索过程、上下文提供、生成答案和后处理。高级技术架构则进一步引入了查询转换、聊天引擎、智能体等优化策略,使系统更加智能灵活。文章特别强调了分块和向量化的重要性,指出需要根据嵌入模型的Token容量合理设置数据块大小,并选择合适的嵌入模型。RAG技术

weixin_52610848的博客 1590

标题:Stata17安装后遇到Java安装问题解决方法

设置JAVA_HOME环境变量:在Windows上,您需要设置JAVA_HOME环境变量以告诉Stata Java的安装路径。d. 输入变量名为JAVA_HOME,变量值为Java安装路径。注意:请确保您的Java版本与Stata兼容,并使用正确的Java安装路径。设置Stata的Java安装路径:现在,您需要告诉Stata Java的安装路径。如果您看到Java版本信息,则表示Java已成功安装。如果没有安装,请先下载并安装Java。确认Java已安装:首先,请确保您的计算机上已经正确安装了Java。

CyberSparkZ的博客 2867

《大模型应用开发:RAG入门与实战》从基础概念到实战操作,手把手教你构建功能齐全的RAG项目。

这本书的独到之处在于:①全面涵盖:带你从文档提取一路学到相似度搜索,覆盖文档搜索的每个核心环节,确保你能全面掌握关键技术。②深入剖析:每个环节都不是浅尝辄止,而是深入技术核心,还有实际案例让你看到怎么在项目中运用。③技术前沿:不只教你老一套,还带你了解大模型问答等前沿技术在文档搜索中的应用,让你紧跟技术趋势。④简单易懂:讲的都是大白话,专业术语和复杂数学都靠边站,新手也能一看就懂,一学就会。实用又易懂!

2401_86435672的博客 1206

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

24年9月大模型新书:大模型RAG实战-RAG原理、应用与系统构建

来啦,很久没给大家更新大模型的新书了,这次拿到了这本24年9月的新书,给大家详细介绍一波,就是这本 《大模型RAG实战-RAG原理、应用与系统构建》

2301_81940605的博客 2103

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

最火的大模型开发应用-RAG入门与实战!

RAG自2020年由Facebook AI Research推出后,一下子就窜红了。毕竟,它是真的帮了大忙,在解决大语言模型的“幻觉”问题上起到了关键作用。

huang9604的博客 1153

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【推广】图书|2024新书《大模型RAG实战:RAG原理、应用与系统构建》汪鹏、谷清水、卞龙鹏等,机械工业出版社

大模型RAG实战:RAG原理、应用与系统构建》不仅是一本技术指南,更是带领你领略AI前沿应用的钥匙。如果你希望在RAG技术领域站稳脚跟,或是寻求在大模型应用中的新突破,这本书无疑将是你的最佳选择。通过本书,你将深入理解RAG的技术原理,掌握如何在大规模数据场景下优化RAG系统,助你成为下一代AI系统的引领者。

shandianchengzi的博客 2346

大模型RAG实战:全面讲解RAG技术原理、实战应用(附PDF书籍)

《大模型RAG实战指南》是一本系统讲解RAG技术的权威著作,涵盖从基础原理到高级应用的完整知识体系。全书通过三大发展阶段(初级、高级、超级RAG)剖析技术演进:从基础pipeline搭建,到召回/生成优化技巧,再到Agentic RAG、多模态RAG等前沿方向。重点解析文档切分、精准召回、优化生成等核心技术,并对比开源/商业模型方案。本书兼具理论深度与实践价值,配有丰富案例和资源包,是开发者掌握RAG系统构建的必备指南。

qingkahui24689的博客 970

大模型RAG实战 | RAG系统构建与微调实战

OpenAI于2022年11月30日发布的ChatGPT几乎颠覆了现有的NLP范式, 使NLP算法的日常工作和技术栈都发生了一定的改变。最受关注的两个 落地方向分别为RAG(Retrieval-Augmented Generation,检索增强生 成)和Agent。

老皮的博客 1064

AI大模型RAG实战指南:从入门到精通,一篇掌握核心技巧!

RAG(Retrieval Augmented Generation, 检索增强生成)是一种技术框架,其核心在于当 LLM 面对解答问题或创作文本任务时,首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材,继而依据这些素材精准指导后续的回答生成或文本构造过程,旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍:富文本 主要存储于 txt 文件中,因为排版比较整洁,所以获取方式比较简单实战技巧:【版面分析——富文本txt读取】

2401_84495872的博客 1445

大模型书籍丨大模型RAG实战:大模型RAG实战:RAG原理、应用与系统构建(附PDF)

RAG的大致流程如下图所示,将候选文本向量化后当作索引存入向量数据库。用户提出问题后,也将问题向量化,并从数据库中召回和问题相关的候选文本,一并加入到LLM的上下文中,进行回答。

DEVELOPERAA的博客 936

【粉丝福利社】大模型RAG应用开发:构建智能生成系统

在数字化和信息爆炸的时代,自然语言处理(Natural Language Processing,NLP)技术已成为推动创新和提升效率的关键驱动力。尤其是在需要精准、实时地进行信息交互的应用中,如问答系统、客户支持和专业文档管理等,如何让生成模型实现高效且精准的信息生成与检索成为核心需求。

愚公智库 11万+

大模型入门新书:大模型RAG实战-RAG原理、应用与系统构建

来啦,很久没给大家更新大模型的新书了,这次拿到了这本24年9月的新书,给大家详细介绍一波,就是这本 《大模型RAG实战-RAG原理、应用与系统构建》

瓦罗兰特顶级C位的博客 1156

大模型RAG | 基于大模型的RAG应用开发与优化

你可能使用过Kimi Chat、豆包这样的大模型工具,它们可能已经在生活中充当了我们的创作助手、咨询专家、甚至情感陪护等,但这样的应用还远远不能发挥出大模型的真正价值,我们期望大模型在更专业的生产领域发挥作用,提升生产力,引领真正的科技变革。当前大模型被普遍看好的两个专业应用方向是RAG(Retrieval-Augmented Agenerated,检索增强生成)与Agent(AI智能体)。本篇小枣君首先尝试用通俗易懂的语言帮助大家认识RAG这一重要应用形式。

zhishi0000的博客 1819
上一篇: RAG技术全解析:检索增强生成方法与优化,程序员必学技能,建议收藏!
下一篇: 【真相】吴恩达揭秘AI开发‘残酷真相‘:小白程序员如何用‘乐高积木‘少走半年弯路
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2835原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值