一文剖析大模型、RAG、Agent、MCP、Function Calling、知识库、向量数据库、知识图谱、AGI 的区别和联系

大模型外挂知识库rag综述 大模型外挂知识库rag的综述 阅读详情

MCP构建AI大模型全景技术架构体系

我们要把 AI 大模型当做人的大脑,因此调用 AI 大模型,相当于调用一个人,把 AI 大模型当人看,TA 懂人话、TA 说人话、TA 会直接给出结果,但结果不一定正确。

因此在 AI 大模型的推理基础上,通过 RAG、Agent、MCP、Function Calling、知识库、向量数据库、知识图谱等技术手段实现了真正的 AGI(通用人工智能)。这些技术到底有哪些区别和联系,下图作了横向对比,接下来我们详细剖析。

img

—1—

大语言模型(LLM)

大语言模型(LLM)是通过深度学习方法,利用庞大的文本数据集进行训练的机器学习模型,它具备生成自然流畅的语言文本以及准确理解语言文本深层语义的能力。大语言模型广泛应用于各种自然语言处理任务,包括但不限于文本分类、智能问答以及人机交互对话等,是 AI 领域的重要支柱之一。

过去的一年中,大语言模型及其在 AI 领域的应用受到了全球科技界的广泛关注。特别值得注意的是,这些大语言模型在规模上取得了显著的增长,参数量从最初的数十亿激增到如今惊人的万亿级别。这一飞跃性的增长不仅使得大语言模型在捕捉人类语言的微妙差异上更为精准,更让它能够深入洞察人类语言的复杂本质。

随着 DeepSeek V3 的发布,回顾过去的一年,大语言模型在多个方面取得了显著的进步,包括高效吸纳新知识、有效分解复杂任务以及图文精准对齐等。随着技术的不断演进和完善,大语言模型将继续拓展其应用边界,为人们带来更加智能化、个性化的服务体验,从而深刻改变我们的生活方式和生产模式。

img

大语言模型拥有推理能力,TA 是一切应用的基石。

—2—

检索增强生成(RAG)

RAG(Retrieval-Augmented Generation)技术是一种集成检索与生成双重能力的知识增强方案,旨在应对复杂多变的信息查询和生成挑战。在如今的大模型时代背景下,RAG 巧妙地引入外部数据源,比如:本地知识库或企业信息库,为 AI 大模型赋予了更强大的检索和生成实力,从而显著提升了信息查询和生成的品质。

img

RAG 技术的核心在于它将先进的向量数据库与大模型的智能问答能力进行了完美结合。知识库中的信息被精心存储在向量数据库中,当接收到用户的问题时,系统能够迅速从知识库中检索出相关的知识片段。随后,这些片段会与大模型的智慧相结合,共同孕育出精确而全面的回答。这种技术的运用极大地提高了 AI 系统在处理复杂问题时的准确性和响应速度,为用户带来了更加优质和高效的体验。

总之,RAG 技术就是给大语言模型新知识。

—3—

智能体(Agent)

在 AI 大模型时代,任何具备独立思考能力并能与环境进行交互的实体,都可以被抽象地描述为智能体(Agent)。这个英文词汇在 AI 领域被普遍采纳,用以指代那些能够自主活动的软件或硬件实体。在国内,我们习惯将其译为“智能体”,尽管过去也曾出现过“代理”、“代理者”或“智能主体”等译法。

智能体构建在大语言模型的推理能力基础上,对大语言模型的 Planning 规划的方案使用工具执行(Action) ,并对执行的过程进行观测(Observation),保证任务的落地执行。

img

总之,Agent 智能体 = 大语言模型的推理能力 + 使用工具行动的能力。

img

—4—

MCP(Model Context Protocol)

MCP(模型上下文协议)是由 Anthropic 定义的一个开放协议,标准化应用程序如何为大语言模型(LLM)提供上下文。更具体地说,它试图标准化基于 LLM 的应用程序与其他环境集成的协议。

在 AI Agent 系统(Agentic Systems)中,上下文可以通过多种方式提供:

1、外部数据:这是长期记忆的一部分。

2、工具:系统与环境交互的能力。

3、动态提示词:可以作为系统提示词(System Prompt)的一部分注入。

第一、为什么要标准化?

目前,AI Agent 应用的开发流程很混乱:

1、有许多 AI Agent 框架存在细微差异。虽然看到生态系统蓬勃发展令人鼓舞,但这些细微差异很少能带来足够的价值,但可能会显著改变你的代码编写方式。

2、与外部数据源的集成通常是临时实现的,并且使用不同的协议,即使在组织内部也是如此。对于不同公司来说,这显然是如此。

3、工具在代码库中以略微不同的方式定义。如何将工具附加到增强型 LLM 上也是不同的。

目标是提高我们创新 AI Agent 应用的速度、安全性以及将相关数据带入上下文的便利性。

第二、MCP 架构设计

图片

1、MCP Host:使用 LLM 为核心并希望通过 MCP 访问数据的程序。

2、MCP Client:与 MCP Server 保持1:1连接的客户端。

3、MCP Server:每个 MCP Server 都通过标准化的模型上下文协议公开特定功能的轻量级程序。

4、Local Data Sources:你计算机上的文件、数据库和服务,MCP Server 可以安全访问。

5、Remote Data Sources:通过互联网可用的外部系统(比如:通过 API),MCP Server 可以连接到这些系统。

—5—

Function Calling

Function Calling 是由 OpenAI 等公司推动的一种技术,它允许大语言模型(LLM)通过自然语言指令与外部工具和服务进行交互,从而将自然语言转换为具体的 API 调用。这一技术解决了大语言模型在训练完成后知识更新停滞的问题,使大模型能够获取实时信息,比如:当前的天气、股市收盘点数等。

图片

第一、工作原理

Function Calling 的工作原理可以通过以下4个步骤来理解:

1、识别需求:大模型识别出用户的问题需要调用外部 API 来获取实时信息。比如:用户询问“今天北京的天气如何?”大模型会识别出这是一个关于实时天气的问题。

2、选择函数:大模型从可用的函数库中选择合适的函数。在这个例子中,大模型会选择 get_current_weather 函数。

3、准备参数:大模型准备调用函数所需的参数。例如:{ “location”: “北京”, “unit”: “celsius”}

3、调用函数:AI 应用使用这些参数调用实际的天气 API,获取北京的实时天气数据。

4、整合回答:大模型将获取的数据整合成一个完整的回答,比如:“根据最新数据,北京今天的天气晴朗,当前温度23°C,湿度45%,微风。今天的最高温度预计为26°C,最低温度为18°C。”

第二、对开发者的好处

对于开发者来说,使用 LLM 的 Function Calling 入门相对容易。开发者只需按照 API 的要求定义函数规格(通常是 JSON 格式),并将其随 Prompt 请求发送给大模型。大模型会根据需要调用这些函数,整个逻辑相当直观。因此,对于单一大模型、少量功能的简单应用,Function Calling 的实现非常直接,几乎可以“一键”将大模型输出对接到代码逻辑中。

第三、局限性

然而,Function Calling 也有一些局限性:

缺乏跨大模型的一致性:每个 LLM 供应商的接口格式略有差异,这使得开发者在支持多个大模型时需要为不同的 API 做适配,或者使用额外的框架来处理这些差异。

平台依赖性:Function Calling 通常依赖于特定的平台或框架,这限制了其在不同环境中的通用性。

扩展性有限:虽然 Function Calling 能够解决特定问题,但在面对更复杂的任务时,其扩展性可能会受到限制。开发者可能需要为每个新功能编写新的函数,并确保这些函数与模型的交互逻辑兼容。

第四、总结

Function Calling 是一种强大的工具,它为大语言模型提供了与外部工具和服务交互的能力,从而解决了大模型知识更新停滞的问题。然而,它的局限性在于缺乏跨模型的一致性和平台依赖性。尽管如此,Function Calling 仍然是一个重要的技术,尤其是在需要快速实现特定功能时。未来,随着技术的不断发展,我们期待看到更多能够克服这些局限性的解决方案。

—6—

知识库

对于企业而言,构建一个符合自身业务需求的知识库是至关重要的。通过RAG、微调等技术手段,我们可以将通用的大模型转变为对特定行业有着深度理解的“行业专家”,从而更好地服务于企业的具体业务需求。这样的知识库基本上适用于每个公司各行各业,包括:市场调研知识库、人力资源知识库、项目管理知识库、技术文档知识库、项目流程知识库、招标投标知识库等等。

知识库的技术架构分为两部分:

第一、离线的知识数据向量化

  • 加载:通过文档加载器(Document Loaders)加载数据/知识库。

  • 拆分:文本拆分器将大型文档拆分为较小的块。便于向量或和后续检索。

  • 向量:对拆分的数据块,进行 Embedding 向量化处理。

  • 存储:将向量化的数据块存储到向量数据库 VectorDB 中,方便进行搜索。

img

第二、在线的知识检索返回

  • 检索:根据用户输入,使用检索器从存储中检索相关的 Chunk。

  • 生成:使用包含问题和检索到的知识提示词,交给大语言模型生成答案。

img

总之,知识库是 AI 大模型应用的知识基础。

—7—

向量数据库

向量数据库是专注于存储和查询向量的系统,其向量源于文本、语音、图像等数据的向量化表示。

相较于传统数据库,向量数据库更擅长处理非结构化数据,比如:文本、图像和音频。在机器学习和深度学习中,数据通常以向量形式存在。

向量数据库凭借高效存储、索引和搜索高维数据点的能力,在处理比如:数值特征、文本或图像嵌入等复杂数据时表现出色。

img

总之,知识库的存储载体往往是向量数据库,另外在数据存储和检索上,向量数据库以向量空间模型高效存储和检索高维数据,为 AI 大模型和 Agent 智能体提供强有力的数据支持。

—8—

知识图谱

知识图谱是一种基于实体和关系的图结构数据库,旨在表示和管理知识。它采用结构化数据模型来存储、管理和显示人类语言知识。

知识图谱通过语义抽取建立人类语言知识间的关系,形成树状结构。实体如人、地点、组织等,具有特定属性和关系,这些关系连接着不同的实体。通过数据挖掘、信息处理和图形绘制,知识图谱揭示了知识领域的动态发展规律,为学科研究提供了有价值的参考。

医疗领域是知识图谱技术的一个广泛应用场景,它可以帮助临床诊疗、医疗数据的整合与利用,并通过实体识别、关系抽取和数据集训练,以图谱形式展示关键节点和它们之间的联系,从而支持更精准的医疗决策。

img

与此同时,在智能推荐、自然语言处理、机器学习等领域也具有广泛的应用。尤其在搜索引擎领域,它能够提高搜索的准确性,为用户提供更加精准的搜索结果。

总之,知识图谱本质上是一种叫作语义网络的知识库,即一个具有有向图结构的知识库,其中图的结点代表实体或者概念,而图的边代表实体/概念之间的各种语义关系。

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

大模型在企业知识库场景的落地思考 今天我们深入探讨了企业在知识库场景下运用大型模型的实践策略。我们首先分析了大型模型在企业实际应用中所面临的挑战,包括算力、调度和数据等方面的问题。随后,我们提出了一系列解决方案,包括构建高效管理和自适应扩展的算力资源体系,开发或引进先进的调度系统,以及建立完善的数据处理流程。最后,我们强调了企业在实施大型模型实践策略时,必须关注数据安全、隐私和合规问题,以确保实践方案的可行性和可持续性。 阅读详情

相关推荐

大模型里的知识库是什么?

是指用于存储、组织和检索结构化或非结构化知识的系统,通常作为外部数据源与大模型(如GPT-4、LLaMA等)结合,以增强模型对专业领域或实时信息的理解能力。,通过RAG等技术弥补模型固有缺陷,成为落地应用的核心组件。,未来将更注重实时性与自动化。

qq_36929638的博客 1727

基于大模型构建本地知识库

支持的格式: 根据语义 目前来说,由于语义的不确定性,用规则会取得更好的效果,文本分句长度为800。语义检索的重要前提是Sentence Embeddings。可惜目前看到的绝大部分材料都是使用OpenAIEmbeddings。OpenAIEmbeddings 调用的mode_name=“text-embedding-ada-002” 排在第6位MTEB 排行榜 - MTEB 的拥抱面孔空间 (huggingface.co)对于中文模型在政府语料问题的匹配,在这里测试了ernie-base模型和tex

qq128252的博客 1万+

对10G/40Gphy中auto-negotiation功能调试

在近期有一个项目,是一台设备中发现mac与phy之间的信号质量有一些差,报文会出现很多的crc错误码。希望可以将mac与phy之间的工作模式改为10GBASE-KR/40GBASE-KR4,从而提高信号质量,减少crc错误码。要实现10GBASE-KR/40GBASE-KR4,需要打开auto-negotiation,所以,文章主要内容是如何开启自协商,以及相关参数的解释。 需要的文档: 1、802.3协议手册 2、所调试phy的芯片手册(我自己使用的是bcm的万兆phy) 万兆phy情况摘要 PHY寄存

MTzhang_22的博客 5829

大模型技术之基于大模型构建本地知识库!

模型以其庞大的数据容量和深度学习能力,为处理复杂任务提供了前所未有的可能性。但在特定应用场景下仍面临挑战,尤其是在需要快速、准确响应的情境中。为了克服这些限制,构建一个基于大模型的本地知识库显得尤为重要。

xiangxueerfei的博客 3648

光纤接口类型与应用场景全解析

本文全面解析了光纤接口的类型与应用场景,详细介绍了SC、LC、FC和ST等主流光纤接口的特点及适用环境。从数据中心的高密度布线到工业环境的极端条件,提供了专业的接口选型指南和实战经验,帮助读者根据具体需求选择最合适的光纤接口方案。

weixin_29289821的博客 411

常用元器件使用方法13:物理层接口芯片DP83848的使用方法

介绍: DP83848是以太网物理层接口芯片,具有多种型号,从便于焊接角度考虑LQFP-48封装较为合适,采用LQFP-48封装的芯片,有2种型号,分别为DP83848I和DP83848C,如下图所示。 其主要区别是使用温度不同,如下图所示。 这2种芯片芯片网上均有销售,按理说DP83848C价格应该更加便宜,实际不然,DP83848I的价格低于DP83848C,考虑或与芯片的出货量...

snmplink的博客 1万+

深度剖析:大模型、RAG、Agent、MCP、Function Calling、知识库、向量数据库、知识图谱、AGI的区别与联系

AI大模型技术发展与应用综述 本文系统阐述了当前AI大模型领域的关键技术体系。首先将大语言模型(LLM)视为具备推理能力的"数字大脑",并围绕其核心能力展开多种增强技术:检索增强生成(RAG)通过向量数据库为模型注入新知识;智能体(Agent)赋予模型使用工具执行任务的能力;MCP协议规范了模型与环境的交互标准;Function Calling实现自然语言到API调用的转换。此外,知识库构建和向量数据库技术为模型提供了专业知识支撑。这些技术相互补充,共同推动通用人工智能(AGI)的发展,

2401_85325557的博客 896

【100%通过率】华为OD机试真题 Python 实现【水库蓄水问题】【2022.11 Q4 新题】

给定一个长度为 n 的整数数组height。数组的元素表示山的高度,选择两个元素作为水库的边界,求蓄水量的最大值并输出蓄水量最大时的边界下标(蓄水量相同时输出下标较近的)。

MISAYAONE的博客 1万+

大模型从入门到精通!一文搞懂RAG、Agent、MCP、Function Calling、知识库、向量数据库、知识图谱、AGI

Function Calling 是一种强大的工具,它为大语言模型提供了与外部工具和服务交互的能力,从而解决了大模型知识更新停滞的问题。然而,它的局限性在于缺乏跨模型的一致性和平台依赖性。尽管如此,Function Calling 仍然是一个重要的技术,尤其是在需要快速实现特定功能时。未来,随着技术的不断发展,我们期待看到更多能够克服这些局限性的解决方案。

老皮的博客 1400

第5.2章 【自动驾驶行业融合定位核心】:手把手详解ESKF(误差卡尔曼滤波)理论公式及代码

自动驾驶定位中的ESKF(误差卡尔曼滤波)技术是解决IMU累积误差的关键,通过分离名义状态与误差状态实现高精度定位。其核心步骤包括:1)名义状态递推(位置/速度/姿态的基础物理计算);2)误差传播建模(雅可比矩阵F量化误差影响);3)协方差更新(评估定位不确定性)。ESKF在GNSS信号丢失(如隧道场景)、无卫星定位(地下车库)等场景发挥重要作用,通过融合多传感器数据维持定位精度。工程实现需解决零偏校准、协方差投影等关键问题,噪声参数需通过数据标定而非随意设置。掌握ESKF原理与实现是自动驾驶定位工程师的核

行知SLAM 704

SAP_FICO模块-资产减值功能对折旧和残值的影响

SAP_FICO模块-资产减值操作对资产历史折旧以及后续折旧的影响,包括减值操作的配置前提

风沙的博客 2805

探索AI技术:大模型、RAG、Agent等与知识库、向量数据库的关系

本文系统剖析了AI大模型及相关技术的核心概念与应用。首先提出应将AI大模型视为具备类人推理能力的智能体,在此基础上详细解析了八大关键技术:1)作为基石的LLM大语言模型;2)提供新知识的RAG检索增强生成;3)赋予行动能力的Agent智能体;4)标准化的MCP上下文协议;5)连接外部工具的Function Calling;6)行业落地的知识库技术;7)支撑知识库的向量数据库;8)构建语义网络的知识图谱。最后分享了价值2万元的大模型学习资源包,包含系统化学习路线、300集视频教程、行业报告及面试题库等全套资料

2401_85343303的博客 1166

把财务与管理会计装进一张表:读懂 S/4HANA 的 ACDOCA

别慌,这反而是设计所需。只是大量历史上为汇总、加速而建的索引与汇总表被淘汰或改造,很多被兼容视图 compatibility views 替代,通过视图去 ACDOCA 或 ACDOCT 取数,从而保证老代码还能 SELECT 到数据,但失去写权限。它把原来分散在多张表里的信息整合到一起,例如总账、固定资产、物料账、盈利能力分析 CO-PA、成本控制等维度,发布过的资料多次强调这一点。其二,查询必须带上高选择性的条件,尤其是 RLDNR、RBUKRS、GJAHR 这三个维度,能大幅降低列存扫描的代价。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 948

一文读懂大模型、RAG、Agent 等 9 大 AI 概念、区别与联系全解析

一文读懂大模型、RAG、Agent 等 9 大 AI 概念、区别与联系全解析

youmaob的博客 1494

第95章 安全工程师:Shell 脚本实现安全扫描、漏洞检测、日志审计

随着网络安全威胁日益复杂,传统的手动安全管理已无法满足现代企业的安全需求。Shell 脚本为安全工程师提供了强大的自动化能力,能够实现 7×24 小时的安全监控、快速漏洞扫描、智能日志分析和实时威胁响应。本章将系统介绍如何使用 Shell 脚本构建完整的安全防护体系,从基线检查到实时监控,帮助你打造自动化的安全运维能力。

猪猪侠 90

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

【收藏学习】大模型技术栈详解:从LLM到Agent、RAG、知识库的实战指南

本文详细解析了AI大模型及其核心技术生态,包括大语言模型(LLM)基础,以及RAG、Agent、MCP、知识库、向量数据库和知识图谱等关键技术如何协同工作实现AGI。文章深入剖析了各技术的原理、区别与联系

嘴巴吃糖了 861

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: 从0到1打造企业级AI售前机器人——实战指南二:RAG工程落地之数据处理篇[特殊字符]
下一篇: LLaMA Factory多模态微调实践:微调Qwen2-VL构建文旅大模型
冻感糕人~
博客等级 码龄3年 8926粉丝 2384原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值