一文搞懂RAG与GraphRAG:大模型工作流的核心增强技术

RAG技术全面指南:解锁大模型应用的未来 RAG(检索增强生成)技术已成为大模型应用的核心支柱,通过"外挂知识库"解决大模型的幻觉问题、知识时效性和领域专业性三大痛点。技术架构从基础RAG演进到模块化RAG,工作流程包括检索、增强和生成三个核心步骤。企业级应用案例显示,腾讯云、作业帮和招商证券已成功运用RAG提升业务效能。开源框架对比分析为选型提供指导,未来趋势包括多模态RAG、GraphRAG和Agentic RAG等方向。RAG技术正驱动大模型应用向更智能、更专业的方向发展。 阅读详情

RAG(Retrieval - Augmented Generation,检索增强生成 )技术最早可追溯至2020年被正式提出。如今,伴随大模型技术的飞速迭代与应用场景的持续拓展,RAG技术已经深度融入大模型工作流,成为一种被广泛认可且极具影响力的范式。

大厂们也推出了一系列大模型应用融入了知识库,如IMA、飞书这些产品。

腾讯的 ima 个人知识库腾讯的 ima 个人知识库

字节的飞书知识问答字节的飞书知识问答

那么,这些产品都采用的 RAG 技术,背后的原理是什么?假如牛马被老板要求要完成建立公司内部知识库系统(当然最好没有,手动狗头),该如何完成呢?

在这篇文章中,我们会详细介绍RAG的技术原理,并介绍最近流行的结合知识图谱的 RAG 构建。


RAG整体框架

在这里插入图片描述

RAG 本质上是一个集成了两个关键组件的混合模型。

  1. 从各种文件构建知识向量库。
  2. 理解用户需求,在知识向量库里进行检索,最终生成准确而且上下文丰富的响应。

下面我们分两模块介绍。

RAG知识库构建

构建RAG知识库工作流如图所示:

图片

为构建让大模型可以检索的知识库,首先把各种类型的文件转化为texts格式。

这里 texts 不一定是 txt 格式,也可以是 md 格式、json 格式,主要是为了方便后续进行分块为Chunks

分块后的 Chunks 进一步嵌入文本块转换为携带语义信息的数值向量。最终将嵌入储存保存在向量数据库中,以便在用户查询中快速检索。

RAG检索回答

在这里插入图片描述
这一模块是为了让大模型理解用户提问,最终生成可信的带有上下文的回复。

输入为用户的提问,类似的,大模型把该提问文本转化为嵌入向量,再到上一步构建的知识向量库里进行检索。

最终找到几段匹配度(如余弦相似度)高的回答,再利用Rerank模型,匹配度高的答案优先选择,结合指导大模型回答的提示词(prompt,可以为指导大模型回复的语气),最终,大模型回答给用户基于知识库检索的答案。


知识图谱+RAG(图检索增强生成)

传统 RAG 无法理解复杂实体关系,因此,假如用户查询涉及多个文档和复杂实体,传统 RAG 通常回答单个独立实体,而不是整体响应,无法满足用户需要。

知识图谱是通过节点(实体)和边(关系)构建的图结构,能够表达复杂的知识和实体间的关系。该结构可以让模型更好地捕获不同实体之间的关系,并且,基于图结构进行检索,可以显著地提高检索效率,减少响应时间。

接下来我们简单介绍一下知识图谱相关概念,最后介绍一下如何将知识图谱、RAG 与大模型结合。

知识图谱相关概念

知识图谱使用图论来存储、映射和查询数据关系。它由节点、边(或关系)和属性组成,其中:

  • 节点(Nodes)代表实体,如人、企业或任何数据项。
  • 边(Edges)或关系(relationships) :连接节点,并说明实体之间的关联。
  • 属性(Properties):提供有关节点和关系的额外信息。

以 “电影产业” 领域为例,构建一个简单的知识图谱示例:

- 节点(实体):
  - 节点 1:《流浪地球》(实体类型:电影)
  - 节点 2:郭帆(实体类型:导演)
  - 节点 3:吴京(实体类型:演员)
  - 节点 4:科幻片(实体类型:电影类型)
- 边(关系):
  - 节点 2 → 节点 1:边标签为 “执导”(表示郭帆执导了《流浪地球》)
  - 节点 3 → 节点 1:边标签为 “主演”(表示吴京主演了《流浪地球》)
  - 节点 1 → 节点 4:边标签为 “属于”(表示《流浪地球》属于科幻片类型)
- 属性:
  - 节点 1 的属性:上映时间 = 2019 年,票房 = 46.86 亿元(提供电影的额外信息)
  - 边 “执导” 的属性:合作次数 = 2(表示郭帆与《流浪地球》制作团队的合作次数)

最后构建知识图谱如下:

在这里插入图片描述

图中清晰展现了该知识图谱里的节点、边、属性。小伙伴们可以试试结合自己的业务场景构建专属的领域知识图谱。

将知识图谱、RAG与大模型结合

一方面,知识图谱可以与RAG结合到大模型,另一方面,大模型也可以促进知识图谱的构建。

如Graphgen团队就尝试了让大模型构建知识图谱。

图片

该模型首先将原始文档分割成语义连贯的小片段,接着使用大模型从片段中识别和提取实体及其关系,最后将不同片段中的相同实体或关系的描述自动合并形成知识图谱。

而知识图谱可以与RAG结合到大模型,目前微软提出的GraphRAG[1]和香港大学提出的LightRAG[2]是当下非常热门的框架。下面我们以LightRAG框架为例进行介绍。

图片

首先运用大模型对文档进行分析,识别并提取其中的实体,这些提取出的实体作为节点,关系作为边,共同构建起知识图谱。为优化图谱,会进行去重操作,去除重复实体。

比如从与 “Beekeeper(养蜂人)” 相关的文本段落里找出 “Beekeeper”“Bee(蜜蜂)” 等实体,同时明确它们之间的关系,例如 “管理(Manage)” 关系。

在检索阶段,采用双层检索机制。完成检索后,将获取的实体、关系以及原始文本等信息输入到 LLM 中,系统把用户查询与多源检索结果相整合,生成贴合查询语境的答案。

如 “Beekeeper”“Honey Bee(蜜蜂)”;高层检索则涵盖更宽泛的主题,像 “农业”“生产” 等。

此外,当有新文档加入时,系统会依据之前构建知识图谱的流程处理新文档,再将新生成的图谱数据与现有图谱合并,实现增量更新,让系统能适应动态变化的数据环境,始终基于最新知识进行检索和答案生成 。

结语

在这篇文章中,我们主要是介绍了 RAG 技术和结合了知识图谱增强的 RAG 技术。

普通人如何抓住AI大模型的风口?

领取方式在文末

为什么要学习大模型?

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:
在这里插入图片描述

人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!

最后

只要你真心想学习AI大模型技术,这份精心整理的学习资料我愿意无偿分享给你,但是想学技术去乱搞的人别来找我!

在当前这个人工智能高速发展的时代,AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长,真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料,能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来,我们不断打磨课程体系与技术内容,在细节上精益求精,同时在技术层面也新增了许多前沿且实用的内容,力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径,能够帮助你从零入门,进阶到实战,真正掌握AI时代的核心技能!

01 教学内容

图片

  • 从零到精通完整闭环:【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块,内容比传统教材更贴近企业实战!

  • 大量真实项目案例: 带你亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

02适学人群

应届毕业生‌: 无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌: 非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈: 传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
在这里插入图片描述

本教程比较珍贵,仅限大家自行学习,不要传播!更严禁商用!

03 入门到进阶学习路线图

大模型学习路线图,整体分为5个大的阶段:
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程(涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向)

图片

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路(不吹牛,真有用)
图片

05 行业报告+白皮书合集

收集70+报告与白皮书,了解行业最新动态!
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结(谁学技术不是为了赚$呢,找个好的岗位很重要)图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

【计算机图形学】Pov-Ray画的垃圾小车 效果: 代码: #include "colors.inc" #include "metals.inc" #include "glass.inc" //相机 //这个位置车子刚好落在草地上了 camera { location direction z*1.5 right x*image_width/image_height look_at 阅读详情

相关推荐

LVGL在RTOS下的线程安全实践:从卡死到流畅的界面切换

本文探讨LVGL在RTOS环境下的线程安全实践,重点分析FreeRTOS多任务同步机制,包括互斥锁、任务通知和消息队列方案。通过实际案例展示如何避免界面卡顿和系统死锁,实现从卡死到流畅的界面切换,为嵌入式GUI开发提供可靠的适配解决方案。

uran的专栏 1113

RAG检索增强技术在知识库智能检索场景下的应用实践

本文我们主要探讨了知识检索增强(Retrieval-Augmented Generation, RAG)技术的关键评估方法和行业应用,以及几种现有的技术栈选择及其优缺点。首先,关于RAG的效果评估,我们提到了两种主要的评估方式:独立评估和端到端评估。独立评估包括检索评估和生成评估,重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标,以及人工或GPT模型的评估方法,以获得更全面的效果评价。

FrenzyTechAI的博客 1万+

YALMIP介绍及怎么在Matlab中加YALMIP、SDPT3

目录YALMIP简介怎么在Matlab中加YALMIP?1. 创建决策变量:2. 添加约束:3. 参数配置4. 求解怎么在MatlabR2019a中加YALMIP?1.下载工具包2.放置工具包3.添加路径4.测试安装结果怎么在MatlabR2019a中加SDPT3? YALMIP简介 怎么在Matlab中加YALMIP? yalmip是一位“集大成者”,它不仅自己包含基本的线性规划求解算法,比如linprog(线性规划)、bintprog(二值线性规划)、bnb(分支界定算法)等,他还提供了对cpl

m0_51431440的博客 2万+

深度好文:最全的大模型 RAG 技术概览

如果你已经熟悉检索增强生成(Retrieval Augmented Generation, RAG)的概念,请直接跳转到高级 RAG 部分。检索增强生成(Retrieval Augmented Generation, RAG)是一种技术,它通过从数据源中检索信息来辅助大语言模型(Large Language Model, LLM)生成答案。

2201_75499313的博客 9721

SoC低功耗设计实战:28nm工艺下四核A7的Hierarchical Flow全流程解析

本文深入解析了在TSMC 28nm工艺上,采用Hierarchical Flow(层次化流程)实现四核Cortex-A7 SoC低功耗设计的全流程。文章从项目背景切入,详细探讨了基于UPF的电源规划、时钟树综合、接口时序收敛以及物理验证等关键环节,分享了使用Cadence Innovus等工具进行低功耗物理实现的实战经验与挑战。

weixin_29231263的博客 327

安装Quartus-II 13 和Modelsim

目录一、Quartus-II安装1.Quartus-II 13下载2.Quartus-II 13安装3.Quartus-II 13注册二、Modelsim安装 实验目的:安装Quartus-II 13 和Modelsim 实验环境:Windows10 参考资料:Quartus-II安装及使用 一、Quartus-II安装 1.Quartus-II 13下载 正点原子官方资料下载 百度网盘下载链接: https://pan.baidu.com/s/1a9d-bq9RZmWrRV542X4IEA 提取码:

qqq080的博客 8644

【RAG】浅谈大模型之RAG技术(原理、架构)

RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合了检索和生成的深度学习模型架构。

程序星空实验室 2624

一文详解心电图(ECG)监测原理

介绍心电图的监测原理,从心电信号产生、获取到心电图的基本组成

m0_50146396的博客 3310

面向LLM的RAG技术:综述

面向LLM的RAG技术:综述

安静的软件工程师 2742

OpenClaw进阶实战(二十五):抖音企业号——私信回复与视频评论分析

摘要:本文介绍抖音企业号自动化运营方案,突破抖音强风控体系的技术挑战。针对内容生产、私信互动和账号矩阵三大场景,提出混合架构解决方案: 私信自动化:结合关键词触发与随机延迟(45秒±15),实现拟人化回复,支持价格咨询/商务合作等高优先级消息识别 混合技术栈:官方API(合规)+真机RPA(覆盖长尾需求)+AI辅助生成(脚本→剪辑→发布闭环) 安全策略:通过设备指纹模拟、行为间隔随机化和内容差异化处理规避风控,提供每日200条的安全操作阈值。配套OpenClaw技能实现一键部署,包含cookie配置、回复规

PeterPan的博客 145

【硬刚Hive】HIVE基础(20):Hive函数(9) over 窗口函数

欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客 欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载! 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 hive窗口函数语法 在前言中我们已经说了avg()、sum()、max()、min()是分析函数,而over()才是窗..

微信搜:import_bigdata,大数据领域硬核原创作者 888

RAGFlow:基于OCR和文档解析的下一代 RAG 引擎

在对 RAGFlow 的探索中,我们可以清晰地看到其在RAG(Retrieval-Augmented Generation)领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎,不仅在问答对话方面表现出色,还具备高级内容生成的能力,例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务,满足不同场景下的需求,尤其在企业级应用中发挥着重要作用。

FrenzyTechAI的博客 4万+

前端开发 - 完美解决video.js和flv.js视频同时播放数量限制的问题,即浏览器针对同一域名的请求限制问题(解决flv.js/video.js在页面播放最多不超过6个问题、浏览器并发请求限制数

flv.js,video.js,vue,reactive,uniapp,前端开发,flv视频同时播放有限制怎么办,浏览器限制多个视频同时播放怎么办,使用flv.js在前端播放,最多只能播放6个视频,突破浏览器域名并发限制,如何解决flvjs与videojs视频播放同时播放数量限制,video.js 一个页面同时播放多个视频的实例代码,解决网页视频最大只能播放6路的问题,浏览器只能播放6路http-flv流的解决方法,一个浏览器播放5个或者6个flv的视频就不能播放了,video.js 无法在页面同时播放多个

✅ 精选推荐文章 4997

一文搞懂大模型工作流核心:RAG与GraphRAG技术入门

一文搞懂大模型工作流核心:RAG与GraphRAG技术入门

EnjoyEDU的博客 1428

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

一文搞懂GraphRAG、LightRAG、AgenticRAG,看这一篇就够了!

一文搞懂GraphRAG、LightRAG、AgenticRAG,看这一篇就够了!

xxue345678的博客 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

大模型入门:一文详解GraphRAG、LightRAG、AgenticRAG

RAG是大模型定制化或者私有化部署时知识增强方法的最便捷、成本最低的方式,是一种新数据引入大模型的经济高效的方法,它大模型私有化部署必备的步骤。

EnjoyEDU的博客 4447

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

【GraphRAG】一文详解GraphRAG的工作流程,解决传统RAG五大痛点

将图算法应用于知识图谱来识别紧密连接的节点集群。对于每个检测到的节点集群,LLM都会生成一个简洁的摘要,其中包含关键实体、关系和主题。高级别摘要描述总体主题,而低级别摘要则突出细节。这种层次结构确保用户可以根据查询、探索到不同粒度级别的信息。

老皮的博客 791

GraphRAG详解

DRIFT Search是GraphRAG最新的改进版本,也是GraphRAG正在探索的几项重大优化中的第一个。它既取了Globall Search的优点也补足了Local Search的缺点,但在实际工程里大家还是要结合业务场景选择最适合的方案。无论哪种搜索模式开发者都需要考虑搜索效率和LLM Tokens的资源消耗,都需要衡量召回精度、计算成本和时间成本的优先级,特别是在当前大模型应用开发领域,一定没有最优的解决方案只有最适合场景的解决方案。

qq_25893567的博客 2098

GraphRAG:基于知识图谱的检索增强技术深度解析

检索增强生成(Retrieval-Augmented Generation, RAG)是一种技术,它通过结合搜索技术和大型语言模型(LLM)的提示功能来增强模型的输出能力。RAG的核心在于使用搜索算法从数据源中检索相关信息,并将其作为背景上下文与用户的问题一起提供给大型语言模型,以生成更准确、更丰富的回答。这种方法特别适用于需要不断更新知识的领域或特定场景,因为它允许模型直接访问最新信息,而无需重新训练。RAG技术的优势在于它能够提高大型语言模型输出的相关性、准确性和实用性。

2401_84495872的博客 3517

大模型入门必看:一文搞清楚GraphRAG、LightRAG、AgenticRAG

大模型入门必看:一文搞清楚GraphRAG、LightRAG、AgenticRAG

优快云_430422的博客 1656

【大模型学习】一文读懂 GraphRAG 工作流程,看这一篇就够了!

【大模型学习】一文读懂 GraphRAG 工作流程,看这一篇就够了!

EnjoyEDU的博客 1506

【技术收藏】大模型RAG技术对比:传统RAG、GraphRAG、LightRAG和AgenticRAG怎么选?

GraphRAG(Graph-based Retrieval Augmented Generation,图检索增强生成)是由微软于2024年7月2日开源的图检索增强生成框架,其目标是要提升大模型在处理私有数据时的理解和推理能力,是一种结合了知识图谱和检索增强生成(RAG)技术的新方法。传统的RAG技术通过从外部知识库中检索相关信息,增强生成模型的输出质量。而GraphRAG则进一步引入了知识图谱,将信息以节点和边的形式存储,提供更丰富的上下文和关系信息,从而提升生成效果。

ytt0523_com的博客 1378

大模型 | GraphRAG 与 RAG 的比较分析(非常详细)零基础入门到精通,看完这一篇就够了

Graph RAG 是 RAG 方法的一个高级变体,其特点是引入了图结构数据。与将知识库视为平面文档集合不同,Graph RAG 将信息表示为实体和关系的互联网络。Graph RAG 技术通过引入图结构化的知识表示和处理方法,显著增强了传统 RAG 系统的能力。它不仅提高了信息检索的准确性和完整性,还为复杂查询和多步推理提供了更强大的支持。这种方法在处理需要深度上下文理解和复杂关系分析的任务中,展现出了明显的优势。

老皮的博客 3450

【技术收藏】大模型推理增强新范式:RAG/GraphRAG/本体方法全方位对比与实战选型指南

本文深入分析了大模型推理增强技术的演进路径,从传统RAG的语义相似度检索局限性,到GraphRAG通过知识图谱实现多跳推理与证据链增强,再到本体方法的结构化决策框架。文章提出基于"任务复杂度×关系依赖度×合规强度×时效要求"的四象限选型策略,并建议采用"轻量本体先行+GraphRAG增量生长+HybridRAG控时延"的融合路径,为不同场景提供技术选型与实践指导,帮助开发者构建可信、可解释的智能系统。

2301_76168381的博客 1250

大模型入门:一文读懂 GraphRAG、LightRAG 与 AgenticRAG

大模型入门:一文读懂 GraphRAG、LightRAG 与 AgenticRAG

优快云_430422的博客 1626

大模型学习|GraphRAG 与 RAG 的比较分析

Graph RAG 是 RAG 方法的一个高级变体,其特点是引入了图结构数据。与将知识库视为平面文档集合不同,Graph RAG 将信息表示为实体和关系的互联网络。Graph RAG 技术通过引入图结构化的知识表示和处理方法,显著增强了传统 RAG 系统的能力。它不仅提高了信息检索的准确性和完整性,还为复杂查询和多步推理提供了更强大的支持。这种方法在处理需要深度上下文理解和复杂关系分析的任务中,展现出了明显的优势。

2401_85325726的博客 1726
上一篇: Qwen 与 DeepSeek 大模型全方位对比分析
下一篇: Dify本地部署实战:3分钟搭建基于Chrome的网页自动化AI助手
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1479原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值