传统数据仓库正在被 Agentic AI 吞噬？Agentic Data Stack 初探

最新推荐文章于 2025-11-24 15:32:52 发布
原创 最新推荐文章于 2025-11-24 15:32:52 发布 · 1.3k 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库 #人工智能 #大数据 #数据库 #白鲸开源 #开源

作者 | 郭炜 白鲸开源 CEO，Apache 基金会成员

摘要：从技术架构的角度看，我认为这一次的AI浪潮将深刻影响整个软件生态。DSS 系统的设计是以人作为最终消费者的决策支持逻辑为中心，然而，随着 Agentic AI 时代来临，最终的“消费者”更可能是 agent，对数据仓库和复杂 ETL 链路将被重新设计，甚至消失。传统数据仓库偏重结构与查询模式，会被 Agentic Data Stack 架构强调语义与响应模式取代。

一、引言：Snowflake 换 CEO 背后的信号

2024 年春天，云数据仓库的明星公司 Snowflake 宣布换帅，前 Google 广告业务负责人 Sridhar Ramaswamy 接替了曾带领 Snowflake 实现 600 亿美元估值的传奇 CEO Frank Slootman。

如果你只是把这当成一次高管轮换，理解就不够透彻，因为这背后真正的隐喻是，数据仓库世界的范式，正在悄然巨变。

技术的演进，从来不是线性推进，而是技术的跃迁，从 OLTP 数据库到 MPP 数据仓库，从 MPP 本地化计算到向量化云数仓引擎，都是一个技术跃迁到另一个技术，从一个产品霸主到另一个产品霸主。

Slootman 是“数据仓库黄金时代”的代表。他押注云原生、押注多租户架构、押注 Snowflake 成为新一代数据平台的中枢，直接在市场上干掉了我从业的第一家公司——当年的数据仓库霸主 Teradata（从 102 亿美金市值到现在 20 亿美金市值）。就在他功成身退的这一刻，Snowflake 官方博客的关键词悄然切换：AI-first、Agent-driven、语义导向的数据架构。

这不是巧合，这是风向。

同一时间，硅谷最具前瞻性的风投们正在押注“Agentic AI”这个新概念：AI 不再只是一个模型，它是一个能感知、能行动、有目标、有协作能力的 Agent。

那么问题来了：

当 AI 不再只是“聊天工具”，而是能主动感知业务变化、理解意图并执行操作的智能体时，传统数据仓库这样的为“人”建造的决策支持系统还可以满足 Agent 的需要么？

数据仓库曾是企业的“重要的数据资产”，如今，却可能沦为 Agent 的“数据素材库”。甚至连“素材”这个词都在贬值，因为 Agentic DataStack 可以直接访问原始数据，并以语义+数据的形式直接供给给上层各类 Sales Agent，Risk Agent 直接使用；而数据仓库里无语义、冗余的数据只能留给传统 BI 和数据开发人员来消费。

真正危险的不是被淘汰，而是你还在运行上一代范式的规则，而世界已经换了剧本。

这不是对数仓的轻视，而是历史的轮回。正如当年 Hadoop、Iceberg 的崛起重构了数据湖，今天，Agentic AI 正在重写企业级的大数据架构。

二、1970-2024：数据仓库架构是如何演进的

1970：数据仓库之父：Bill Inmon

数据仓库之父 Bill Inmon 首次提出“面向主题、集成、时变、不可更新的数据集合”这一概念（EDW），奠定了后半个世纪企业数据架构的基石。

我本人也有幸在 20 多年前在北京大学的时候，在唐世谓教授带领下，学习并参与翻译《数据仓库》第一版，这本书里对主题域、数据分层架构和缓变维（历史拉链表）的描述，从上个世纪一直沿用到今天，成为整体数据仓库的奠基之作。

1983：Teradata 诞生，MPP 架构横空出世

1983 年诞生了未来 30 年横扫所有企业数据仓库基础设施的公司 Teradata，这也是我毕业后第一份工作所在的公司。首次将 MPP（大规模并行处理）架构引入数据处理系统，Teradata凭借软硬一体的基于 Bynet 的 MPP 架构，在超大量级数据处理和复杂 SQL 的情况下，比

最低0.47元/天 解锁文章
AI 大模型应用数据中心的数据仓库架构
SuperAGI2025
02-02 1635
AI 大模型应用数据中心的数据仓库架构 关键词： 大模型 数据中心 数据仓库 数据治理 数据安全 数据处理 高性能计算
Apache SeaTunnel MCP Server：让AI成为你的ETL助手
weixin_54625990的博客
04-02 553
Apache SeaTunnel MCP Server，可以将 SeaTunnel 的接口文档提供给 Cursor 等支持 AI 编程的 IDE，或其他支持 MCP 的 AI 工具。是一种基于MCP协议的服务器，旨在为大型语言模型（LLM）提供与外部数据源和工具的无缝集成。它通过标准化AI系统与数据源的交互方式，帮助模型获取更丰富的上下文信息，从而生成更准确、更相关的响应。‌。
AI与产品架构设计（8）：数仓智能化：AI 如何嵌入现代数据湖仓体系
ZiShuiZhou的博客
05-21 965
在数据驱动决策的时代，数据仓库与数据湖的融合架构 —— 数据湖仓（Data Lakehouse）正成为企业数据管理的核心基础设施。随着人工智能技术的迅猛发展，尤其是大型语言模型（LLM）的突破，如何将 AI 深度嵌入现代数据湖仓体系，提升指标分析与模型解释能力，实现 “对话式 BI”，成为数据领域的前沿课题。本文将从技术架构、工具实践与价值创造三个维度，解析 AI 与数据湖仓的融合路径。
数据仓库与人工智能：实现高效的知识发现
AI天才研究院
12-27 856
1.背景介绍 数据仓库和人工智能(AI)是两个不同的领域，但它们在现实生活中的应用是相互关联的。数据仓库主要用于存储和管理大量结构化数据，而人工智能则是利用这些数据来实现高效的知识发现。在这篇文章中，我们将探讨数据仓库与人工智能之间的关系，以及如何实现高效的知识发现。 数据仓库是一种用于存储和管理大量结构化数据的系统，主要用于支持决策过程。数据仓库通常包括以下组件： 数据源：数据仓库获取数...
传统数据仓库正在被 Agentic AI 吞噬
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-15 1118
传统数据仓库就像个“生鲜批发市场”，东西便宜量大，但普通人（Agent）买回去还得自己洗切炒（写查询、理解语义），麻烦！未来会出现“智能净菜配送中心”（Agentic Data Stack），食材（数据）都洗好切好配好说明书（CDU），送到家（Agent）就能直接下锅（理解使用），甚至能根据你的口味（业务意图）自动配菜。理解了这套经典玩法，再看之前提到的Agentic AI对它的挑战（Agent成为主要用户、需要语义理解、事件驱动、主动响应），就能更深刻地体会到这种范式转变的意义了。”展开，目标是服务好“
底层逻辑颠覆者：Agentic BI如何通过“Data + AI Agent”架构重构数据价值链？
zandy1011的博客
08-21 1058
【摘要】衡石科技发布HENGSHISENSE6.0，推出业界首个AgenticBI（智能体驱动型商业智能）系统，通过"Data+AIAgent"架构重构数据分析价值链。该技术突破传统BI的线性流程，实现从被动响应到主动智能分析的转变：数据层提供高质量基座，AIAgent层具备理解、规划、执行和解释能力，形成以用户意图为中心的智能闭环。这一创新将分析效率提升至秒级，扩展分析维度，降低使用门槛，使BI工具从操作对象进化为智能协作者，标志着从商业智能向决策智能时代的跨越。
AI Agent vs. Agentic AI | 一文带你了解：什么是AI Agent，什么是Agentic AI？
yinizhilianlove的博客
06-17 1172
一文带你了解Agentic AI
精品推荐-2025年代理式人工智能（Agentic AI）技术最佳学习与实践资料合集（20份）.zip
08-04
2025人工智能Agentic RAG最全面的综述.pdf 2025年Agentic AI 红队测试指南.pdf 阿里云AI搜索Agentic RAG技术实践.pdf 超越RAG：迈向智能体时代的 Agentic RAG.pdf 从传统 RAG 演进到 Agentic RAG 架构设计.pdf ...
Data+AI下的云数仓未来已来！
ith321的博客
10-23 1201
Data+AI下的云数仓未来已来！
我跟着AI写数仓设计，他的表现绝了，超乎我的想象！
严同学在努力
02-16 1311
用AI帮我设计了一个电商数仓系统。不得不服
面向 Data+AI 的新一代智能数仓平台
科技很有意思
02-14 1394
MaxCompute 是面向分析的企业级 SaaS 模式智能化云数据仓库，以 Serverless 架构提供全托管、开箱即用的在线数据仓库服务。 为解决数仓平台在 Data+AI 时代面临的挑战，MaxCompute 提出了一套全面的解决方案。
Data+AI时代下，让数据从“静止的资源“变为“流动的财富“
ith321的博客
10-14 1050
Data+AI时代下，让数据从"静止的资源"变为"流动的财富"
AI 大模型应用数据中心的数据仓库方案
AI天才研究院
09-08 726
博客标题 AI 大模型应用：数据中心数据仓库解决方案解析与面试题集 前言 随着人工智能技术的飞速发展，大模型应用在各个行业中的普及已经成为不可逆转的趋势。数据中心作为承载这些应用的基石，其数据仓库的设计与实施显得尤为重要。本文将围绕“AI 大模型应用数据中心的数据仓库方案”这一主题，结合国内头部一线大厂的面
AI大模型时代下运维开发探索第二篇：基于大模型(LLM)的数据仓库
科技很有意思
12-29 3078
一份需求查询SQL，利用LLM生成两份代码，一份用于Pull：直接查询返回结果，预查询调试用；一份用于Push：构建消费链路进实时数仓。避免ETL过程的过度加工：按需加字段，不会加工太多用不到字段浪费计算、浪费存储。降低使用者维护ETL加工过程成本：虽然Flink SQL的可维护性已经很好了，但是面向计算过程的SQL编写方式还是让很多用户不适应。如果直接用查询SQL来进行自动生成，就大大降低了维护的门槛。以查询为驱动的数据模型，可以使得使用者始终面向数据源表进行需求思考。
AI数据仓库管理提升效率
UMI55的博客
08-15 1136
AI数据仓库管理通过智能API接入外部数据源，实现数据清洗、加密存储与实时监控，结合优化算法提升处理效率，确保安全合规，助力企业降本增效。
自然语言 × 数据集成新范式：SeaTunnel MCP 深度解读
jike007gt的博客
05-29 755
摘要：Apache SeaTunnel MCP Server 作为连接大语言模型与数据系统的智能桥梁，通过标准化的模型上下文协议（MCP）实现了自然语言操作数据系统的愿景。该系统支持用户通过自然语言交互提交ETL任务、监控作业状态、管理多环境连接等操作，显著降低了数据处理门槛。其架构包含FastMCPServer核心服务、SeaTunnelClient通信封装等关键组件，实现了从"对话理解"到"系统执行"的闭环转化。未来版本将拓展支持全部RESTful API V2接口，强化自然语言完成全链路数据任务编排的
数据仓库和AI结合有哪些典范了？
我想静静
01-21 643
数据仓库和AI结合有哪些典范了？
Hive基于Hadoop的数据仓库工具
最新发布
usa_washington的博客
11-24 178
可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，将 SQL 语句转换为 MapReduce/Tez/Spark 任务运行。企业级数据仓库（EDW）数据湖查询引擎历史数据分析数据清洗和转换数据格式转换数据质量检查每日/每周/月度报表用户行为分析业务指标计算数据科学家进行数据探索即席查询分析。
豆包和文心一言用的是传统RAG还是Agentic RAG呢？
08-28
### 豆包与文心一言的 RAG 技术类型分析 豆包（Doubao）和文心一言（ERNIE Bot）作为当前主流的大语言模型工具，其背后的技术架构在信息检索与生成方面均有不同程度的 RAG（Retrieval-Augmented Generation）应用。然而，从公开资料和实际应用表现来看，两者在 RAG 技术的实现上存在差异。 豆包在信息检索与生成的流程中更倾向于采用**传统 RAG**架构。其核心在于通过预定义的检索器（如 BM25、DPR 等）从外部知识库中提取相关信息，并结合语言模型进行生成。这种方式在结构上较为固定，适合处理标准化的查询任务，例如事实性问答或文档摘要生成。这种架构的优势在于实现简单、响应速度快，适合大规模部署[^2]。 文心一言则在部分高级功能中引入了**Agentic RAG**的思想。其系统架构中包含了任务分解、多步骤推理、工具调用等机制，使得模型能够根据用户意图动态地构建检索路径，并在多个知识源之间切换。这种架构具备更高的灵活性和适应性，适用于复杂查询、多轮对话以及需要上下文感知的场景[^1]。 在具体实现上，文心一言的 Agentic RAG 模块可能包含以下特征： - **任务规划器**：能够根据用户输入自动生成检索策略，并决定是否需要调用外部数据库或API。 - **多级检索器**：结合关键词检索与语义向量检索，提升信息召回率与相关性。 - **动态生成器**：在生成阶段引入反馈机制，确保生成内容与原始查询保持高度一致，并支持引用标注功能。 豆包虽然在基础层面上仍采用传统 RAG，但其后续版本中也逐步引入了部分 Agentic RAG 的优化策略，如查询改写、内容压缩、答案引用标注等，以提升系统的智能化程度[^1]。 ### 示例：传统 RAG 与 Agentic RAG 的对比代码结构 以下是一个简化版的 RAG 流程代码，分别展示传统 RAG 与 Agentic RAG 的实现方式： #### 传统 RAG 示例 ```python from langchain.retrievers import BM25Retriever from langchain.chains import RetrievalQA from langchain.chat_models import ChatOpenAI # 初始化检索器 retriever = BM25Retriever.from_documents(documents) # 初始化问答链 qa = RetrievalQA.from_chain_type( llm=ChatOpenAI(), chain_type="stuff", retriever=retriever ) # 执行问答 response = qa.run("什么是量子计算？") print(response) ``` #### Agentic RAG 示例 ```python from langchain.agents import initialize_agent, AgentType from langchain.chains import RetrievalQA from langchain.vectorstores import FAISS from langchain.embeddings import OpenAIEmbeddings # 构建向量数据库 vectorstore = FAISS.from_documents(documents, OpenAIEmbeddings()) retriever = vectorstore.as_retriever() # 初始化检索问答链 qa = RetrievalQA.from_chain_type( llm=ChatOpenAI(), chain_type="map_reduce", retriever=retriever ) # 构建智能体 agent = initialize_agent( tools=[qa], llm=ChatOpenAI(), agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True ) # 执行智能体驱动的查询 response = agent.run("请解释 RAG 与 Agentic RAG 的区别") print(response) ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DolphinScheduler社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值