一文搞懂RAG核心：语义理解与语义检索的区别与应用（建议收藏）

原创 于 2025-12-16 10:52:44 发布 · 756 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大模型 #程序员 #ai #学习 #转行 #产品经理

“ 语义理解是模型的基础能力，语义检索是一种检索技术。”

可能很多人都听过语义理解和语义检索，但大部分可能都没搞明白这两者之间的区别和联系，以及应用场景。

在自然语言处理的大模型中，大模型的执行由两个阶段组成，自然语言理解(NLU)和自然语言生成(NLG)；而在RAG中同样存在类似的两种类型，即语义理解和语义检索。

那么，语义理解和语义检索在RAG的中有什么区别和应用场景呢？或者说RAG哪个阶段属于语义理解阶段，哪个阶段属于语义检索阶段？

语义理解和语义检索

在RAG的流程中，用户提出问题，然后根据问题去进行标量(条件查询)或向量检索(语义检索)，其目的是检索到与问题相关的文档，然后给模型进行增强生成。

简单流程如下图所示：

在这里插入图片描述

然后把用户问题，检索回来的文档，以及历史记录拼接到提示词中，让大模型进行生成，而这个阶段就涉及到大模型的自然语言理解和自然语言生成两个过程。

事实上在传统RAG中，语义检索才是核心，原因是因为基于自然语言的问答，需要进行语义检索而不是传统的条件检索；而这也是为什么RAG需要向量数据库的原因，因为语义检索的技术本质就是向量计算。

可能有些人不太了解向量数据库，或者有点神话向量数据库的作用；事实上，向量数据库和传统的关系型数据库没有本质上的区别，唯一的一点就是向量数据库多了向量计算的能力；所以，只要是需要向量计算的场景都可以使用向量数据库，包括但不仅限于智能问答，智能搜索等。

向量数据库就是在关系型数据库的基础之上，增加了向量列，而向量列的唯一作用就是相似度检索；但真正用于模型增强生成的还是原文档，这就类似于我们经常需要用ID或Name字段做检索，但真正使用的是表中的其它列。

OK，了解了语义检索的基本原理，那么再来说说语义理解；在前面说大模型在生成阶段需要经过语义理解和语义生成的过程；但在智能体实现的RAG系统中，语义理解也是其中的一个重要过程，可以说语义理解才是智能体的核心。

在增强检索的智能体中，我们设置几个查询工具，每个工具有不同的查询参数；而这个参数的作用就是用来做语义查询或者条件查询，但这个参数是怎么生成的呢？

就是大模型通过理解用户的问题，根据问题生成工具参数的值，然后进行工具调用。因此，在智能体中语义理解扮演着重要角色，如果大模型无法进行准确的语义理解，那么工具调用的结果就会出错。

因此在RAG中，语义理解和语义检索扮演着不同的角色，以此实现不同的功能；语义理解是模型的基本能力，而语义检索是检索的一种手段，区别于传统字符匹配方式，但本质相同。

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
在这里插入图片描述

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

图片

  • 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

  • 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
在这里插入图片描述

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

图片

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
图片

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

【速通RAG实战：检索】7.RAG混合检索与重排序技术
专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
05-09 1351
在 RAG（检索增强生成）系统中，检索环节起着承上启下的关键作用，它需要精准地从知识库中找出与用户查询相关的信息，为后续的生成环节提供有力支撑。混合检索与重排序技术是提升检索效果的重要手段。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
一文搞懂RAG核心：Embedding与Rerank模型的区别与应用，建议收藏！
ytt0523_com的博客
10-10 834
RAG系统中Embedding与Rerank模型的核心差异与应用解析 摘要： 本文深入剖析了RAG系统中两大核心组件——Embedding模型和Rerank模型的关键区别。Embedding模型通过向量化实现文本语义表示，适用于海量数据快速检索；Rerank模型则对初步结果进行精细化重排序，提升相关性。二者在功能目标（语义编码vs精排优化）、应用阶段（检索vs重排）和技术实现（无监督学习vs有监督学习）上存在显著差异。理解这两种模型的协同机制，对构建高效RAG系统至关重要，二者配合可实现从粗筛到精排的完整检
【干货】一文搞懂RAG：大模型检索增强生成的核心技术与应用（建议收藏）
2401_85373691的博客
08-29 1292
RAG（检索增强生成）技术通过检索与生成两阶段，解决大模型知识局限和幻觉问题。核心是将知识库文档向量化存储，通过语义检索找到相关内容，再结合这些内容生成答案。技术关键包括文本分块、embedding模型、向量索引、重排序等。RAG提高回答准确性，支持知识库独立更新，增强回答可解释性，并介绍了系统优化策略与安全防御机制。
一文读懂 RAG：大模型应用开发的核心技术解析
大模型研究中心
06-05 902
自从大模型技术走向市场以来，“幻觉”现象总是对用户造成困扰，而RAG（Retrieval-Augmented Generation，检索增强生成） 技术正在成为解决这一难题的利器。国内众多科技大厂在实践RAG技术时都取得了阶段性的成果。
一文搞懂RAG：原理与系统架构全解析
2401_85378759的博客
11-13 758
RAG（检索增强生成）是一种结合外部知识检索与大型语言模型生成能力的技术框架。其核心流程包括用户查询输入、从外部知识库检索相关信息、将检索结果与原始查询整合为增强提示，最后由LLM生成更准确可靠的回答。RAG的主要优势在于解决LLM的知识时效性、幻觉问题和领域知识不足等痛点，通过动态更新外部知识库而非重新训练模型来降低成本，同时提高答案的准确性和透明度。该技术包含检索器和生成器两大核心组件，前者负责语义检索相关文档，后者利用检索到的上下文生成最终回答，显著提升了AI系统的实用性和可信度。
【干货收藏】一文搞懂RAG：大模型检索增强生成技术详解与实战
优快云_224022的博客
09-13 1009
【干货收藏】一文搞懂RAG：大模型检索增强生成技术详解与实战
一文看懂RAG：核心流程梳理与关键技术剖析
2401_85375186的博客
08-13 1300
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与大语言模型（LLM）生成的技术框架，核心目标是通过检索外部知识库的精准信息，辅助 LLM 生成更准确、更具依据的回答，减少 “幻觉”（编造信息）。其涉及的技术和流程如下：
【必学收藏】一文搞懂RAG文本分块：提升检索效率与生成质量的关键步骤
2401_85325726的博客
10-03 2169
本文详细介绍了RAG应用中的文本分块技术，探讨了其对检索相关性、效率、生成质量及长文档处理的重要性。文章分析了多种分块策略，包括TokenTextSplitter、SentenceSplitter、固定长度分块、递归分块、按结构分块和按标点分块等，并比较了各策略的适用场景和优缺点。合理分块能平衡信息完整性与聚焦性，是提升RAG系统性能的关键前提。
【收藏学习】一文搞懂RAG技术：大模型检索增强生成的原理与实战
Android_XG的博客
11-14 1113
RAG技术通过检索外部知识增强大模型回答能力，解决知识时效性、私有数据访问和可解释性问题。其构建流程包括文档分片、向量索引、语义检索、结果重排和答案生成。文章提供完整代码示例和行业案例，对比RAG与微调的适用场景，帮助开发者构建更准确、可靠的大模型应用，是AI从业者必学技术。
一文读懂大模型RAG：检索、增强与生成的技术详解，收藏这一篇就够了！！
2401_85325557的博客
03-26 877
大模型（Large Language Model，LLM）的浪潮已经席卷了几乎各行业，但当涉及到专业场景或行业细分领域时，通用大模型往往面临专业知识不足的问题。相对于成本昂贵的“Post-Training”或“Supervised Fine-Tuning”（监督微调，SFT），基于RAG的技术方案成为了一种更优选择。
【RAG】一文读懂：Tokenizer 与 Embedding 的核心区别和模型选型以及如何用原生 Encoder 生成中文语义向量（附带 C-MTEB 中文句向量模型 TOP 10 排行榜）
weixin_41645791的博客
05-28 1357
在构建 RAG 或检索系统时，如何选择embedding 模型，确实是一个难题，本文给出embedding 模型和Tokenizer的区别，并给出当前企业排名前十的模型以及建议。
一文读懂检索增强生成（RAG）的过去、现在与未来：开发者必读指南
Free2AI DBMove
05-20 1319
检索增强生成（Retrieval Augmented Generation, RAG）作为一种将外部知识库与大型语言模型（LLM）相结合的技术，旨在提升LLM在处理知识密集型任务时的准确性、时效性和可解释性。本报告将详细阐述RAG技术的发展演进，从早期的朴素RAG到当前的先进RAG和模块化RAG，分析其关键技术组成、面临的挑战，并展望其未来发展趋势。
一文搞懂大模型！（非常详细）从入门到精通，基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
weixin_45607947的博客
07-19 2103
三金哥：这么一说，把LLM叫做自然语言处理工具可能没有那么准确，LLM 更多的是理解和生成文本。不过，从你的回答上，我在思考一个很重要的问题：对于 LLM 来说，生成具有语义和语法正确性的文本是不是还不太够，生成的文本和问题如何对应上的？比如有下面的问答：问题：2022年 NBA 总冠军是谁？回答：“我认为这个意大利面,就应该拌42号混凝土,因为这个螺丝钉的长度很容易影响到挖掘机的扭矩”单纯从语义和语法正确性貌似没有很大的问题，但是确并没有回答我的问题。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 1438
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
以太联的自愈功能与看门狗机制解析
最新发布
suzhou_speeder的博客
12-15 634
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 1139
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 798
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 948
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值