【大模型实战系列】第一章 深度剖析AI范式转移与高级RAG实战 附详细源码

最新推荐文章于 2025-11-30 18:24:05 发布
最新推荐文章于 2025-11-30 18:24:05 发布
阅读量463 收藏 15
点赞数 24
CC 4.0 BY-SA版权
分类专栏： 人工智能技术白皮书 文章标签： 人工智能 学习 目标检测 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/VectorShift/article/details/150115910

目录

​编辑

第一部分：深度原理篇 - 从“炼丹”到“系统工程”

1. 驱动力：缩放定律（Scaling Laws）与涌现能力（Emergent Abilities）

2. 工作流的光谱：从提示到RAG再到微调

3. 架构的演进：模型即服务（MaaS）与AI原生应用

第二部分：高级实战篇 - 构建一个基于私有知识的RAG问答系统

1. 环境准备

2. 完整可执行代码

第一部分：深度原理篇 - 从“炼丹”到“系统工程”

认为AI的范式转移仅仅是“从零训练”变为“调用API”是对这场革命的极大简化。其背后是根植于物理学和信息论的深刻原理，以及对软件工程理念的彻底颠覆。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI大模型与自进化智能体教程：从零基础入门到精通实战，一篇就够了！
2401_85373898的博客
10-08 1137
本文系统综述了自进化AI智能体这一新兴范式，提出安全进化的三定律（安全适应、性能保持、自主进化），建立了从静态模型到自进化系统的四阶段演进模型，设计了统一优化框架并分类评述了超50种优化技术。文章开源了首个自进化框架EvoAgentX，展示了自进化智能体如何通过环境反馈自动优化提示、记忆、工具甚至协作拓扑，实现终身学习，为AI在医疗、编程等领域的可持续应用铺平道路。近年大型语言模型（LLM）的突破催生了AI智能体的发展，它们能自主规划、使用工具解决复杂任务（如编程、科研）。然而，
【珍藏指南】RAG技术深度剖析：从Naive到Modular，构建高效大模型检索增强系统
kaka0722ww的博客
10-11 1083
【珍藏指南】RAG技术深度剖析：从Naive到Modular，构建高效大模型检索增强系统
大模型知识库检索终极指南：传统RAG与智能Agent的优劣对比与实战技巧，收藏级教程！
m0_65555479的博客
10-05 1006
本文探讨大模型与知识库结合的两种方法：传统RAG通过向量嵌入实现知识增强，但存在忽视文档结构、检索不稳定等局限；智能Agent方案则让模型主动理解文档结构，自主决策检索策略，通过生成关键词指令实现精准信息获取。实验表明，在代码助手等场景中Agent方法效果更佳。未来两种方法可能融合形成混合架构，使AI更接近人类专家的检索方式，实现更精准、可控的知识利用。
推荐这本全面介绍RAG应用的学习书籍--《基于大模型的RAG应用开发与优化》（附PDF）
2301_81940605的博客
03-28 1359
推荐这本全面介绍RAG应用的学习书籍--《基于大模型的RAG应用开发与优化》（附PDF）
最新 16 种 RAG 技术，超全汇总，附大模型学习资料
2401_85375186的博客
12-10 1878
互联网上的信息已成为 RAG 系统主要的外部知识源，比如 Perplexity、 秘塔搜索、天工搜索等应用已将互联网上的信息作为其主要的检索源。这类 RAG 系统一般会下载检索到的 HTML 源码，然后从中提取纯文本，再将纯文本输入 LLMs 中用于增强生成。但此过程丢失了原有 HTML 中的固有结构和语义信息，如标题、表格结构。HtmlRAG 的作者们认为 HTML 在对外部文档建模知识方面优于纯文本。论文：https://arxiv.org/pdf/2411.02959。
RAG应用开发教程（超详细）从基础架构到实战优化，一篇全掌握，建议收藏！
Everly_的博客
10-08 946
本文详细介绍了RAG（检索增强生成）应用的技术架构、挑战与演进。RAG应用包含数据索引（加载、分割、嵌入、索引）和数据查询（检索、生成）两大核心阶段，并面临检索精确度、模型抗干扰能力、上下文限制等挑战。RAG架构从最初的朴素RAG发展到高级RAG，再到灵活的模块化RAG，不断优化检索前处理与后处理环节，以提升应用性能与输出质量。一、RAG 应用的经典架构与流程在了解了 RAG 的一些基本概念与简单的应用场景后，我们从技术层来看一个最基础、最常见的 RAG 应用的逻辑架构与流程。
LLM之RAG实战 | 突破瓶颈：RAS范式如何破解RAG复杂问题解决困局？
大模型研究中心
11-11 752
检索与结构化（RAS）范式通过融合分类法、知识图谱等结构化技术，对传统RAG进行升级，核心是将“检索原始文本”升级为“检索+结构化处理”，让模型基于规整的知识开展推理。RAS框架统一了三大核心组件：信息检索模块、结构化知识表示（分类法/知识图谱）、大型语言模型，形成“检索-结构化-生成”的闭环流程。
AI大模型实战教程：零基础入门到精通，程序员进阶必看！
2401_85373898的博客
10-15 1390
本文深入探讨AI Agent作为"人工智能+"战略核心引擎的发展趋势，详述其开发三阶段（低代码、高代码、零代码）和框架三代演进（Chat Client、Workflow、Agentic API）。重点分析多Agent分布式架构的必要性、全链路安全策略、Token级限流机制及持续评估的"正向数据飞轮"模式，并介绍阿里云AgentScope等工具如何助力企业构建高效、安全、可靠的AI原生应用。在人工智能加速发展的今天，AI Agent 正在成为推动“人工智能+”战略落地的核心引擎。
笔记本电脑上跑起来：本地知识库与大模型RAG技术的实现与增强
2401_84494441的博客
03-29 390
现在，我们可以引入，管理本地知识库，并和Ollama结合起来，实现的智能问答。AnythingLLM是采用MIT许可证的开源框架，支持快速在本地部署基于检索增强生成（RAG）的大模型应用。在不调用外部接口、不发送本地数据的情况下，确保用户数据的安全。最近 AnythingLLM推出了桌面应用，可以在自己的笔记本电脑上下载使用，目前支持的操作系统包括MacOS，Windows和Linux。下载地址：https://useanything.com/download。
基于大模型与RAG的问答系统源码（含前后端）
该资源标题为“基于大模型的问答聊天系统源码（RAG应用系统，含后端）.zip”，从标题可以看出，这是一个集成了大型语言模型（LLM）与检索增强生成（Retrieval-Augmented Generation, RAG）技术的智能问答系统完整...
【大模型实战系列】 导读 从基础模型到具身智能的系统性学习路径
VectorShift的博客
08-09 978
具身AI（Embodied AI）标志着从“互联网AI”的范式转变，智能体不再仅仅从静态数据集中学习，而是通过传感器和执行器与物理环境进行实时交互，从第一人称视角（egocentric perception）进行学习。这种学习方式被认为是实现通用人工智能（AGI）的关键一步。
知识图谱大模型系列之 17 使用 Llamaindex、Neo4j 和 Llama 3 构建具有知识图谱的高级 RAG 聊天机器人(教程含源码)
iCloudEnd的博客
07-05 6327
检索增强生成 (RAG) 是一种先进的技术，它将基于检索的模型与生成模型相结合，以提高生成的响应的质量和相关性。它对于问答等应用特别有用，因为系统需要提供详细且上下文准确的答案。知识图谱是以节点和边的形式对信息进行结构化表示。节点通常表示实体（例如人物、地点、概念或对象），边表示这些实体之间的关系。知识图谱可以对复杂的关系进行建模，并提供一种高效查询和检索互连信息的方法。知识图谱的一个典型场景是建模社交媒体关系，以在用户和他们的联系人之间形成链接。
RAG技术五大范式解析与源码实现
检索增强生成（Retrieval-Augmented Generation，简称RAG）技术是近年来自然语言处理领域的重要突破之一，尤其在大型语言模型（LLM）广泛应用的背景下，RAG通过将外部知识检索机制与生成模型相结合，显著提升了模型...
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1822
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2178
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1162
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 856
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1390
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1628
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值