
数据团队的困境
为什么数据团队总在「踩同一个坑」?答案往往不是算力不够多,而是表太多、定义太多、经验散落太多。同样叫「活跃用户」,不同表的口径可能完全不一样;即便选对表,也要写出上百行SQL才能跑出结果,错一个连接条件就前功尽弃。
OpenAI的激进举措
在内部,OpenAI做了一件更激进的事:让Codex驱动的数据智能体接管「找表—懂表—写SQL—校验结果」这条链路,用一套六层上下文架构,把数据语义补齐、把组织知识接入、把经验记忆沉淀,让工程师用提问取代搬砖。
数据查询的变革
数据查询不再需要手动查表。一位OpenAI工程师的日常抱怨,道出了数据工作者的共同困境。OpenAI内部数据平台的600PB数据,分布在7万个数据集中。选错表意味着数天的努力付诸东流,更糟糕的是可能基于错误数据做出关键决策。而现在有了由Codex驱动,具有自主学习能力的智能体,工程师不必写上百行的SQL查询语句,只需要提问就能从数据海洋中找到所需的信息。
六层架构的「数据大脑」
将自然语言变成SQL语句的工具很多,而OpenAI内部使用的数据智能体,其核心创新在于其多层上下文架构。最底层的基础元数据包括表结构、列类型等基础信息,为智能体提供数据图谱的骨架。在其一层是人工标注,由领域专家精心编写的表和列描述,捕捉意图、语义、业务含义以及无法从模式或历史查询中轻松推断的已知注意事项。之后的Codex增强通过推导表的代码级定义,让智能体能够更深入地理解数据实际内容。再往上的机构知识层,智能体可以访问Slack、Google Docs和Notion,获取关键的公司背景信息。而最关键的第五层学习进化,让智能体拥有持久的记忆。最上一层的运行时上下文,能够让智能体在没有现有上下文或现有信息过时时,通过实时查询数据仓库,直接检查和查询表。
离线检索与在线查询间的动态切换
上述6层系统是如何协同工作的?具体可分为离线和在线两步。每天凌晨,智能体会系统性地扫描昨天成千上万张数据表的实际用法与调用轨迹,汲取数据专家们留下的批注与洞察,并调用Codex来解读代码深处的逻辑,衍生出表格背后更丰富的业务语义。所有这些散落的「知识碎片」被融合成一个统一、标准化的「知识图谱」。随后,通过OpenAI的嵌入模型,被转化、压缩为一组组向量嵌入,存入高速检索库中。当用户的一个问题抵达时,智能体通过检索增强生成技术,精准定位并提取出与当前问题最相关的数据表。而对于那些需要最新数据的请求,智能体则同步启动实时查询通道,直接向数据仓库发起查询请求。
从静态工具到动态队友的范式转变
这个智能体最令人惊叹的,不是它的技术复杂度,而是它如何融入日常工作流程,成为真正的「队友」。与传统的「一问一答」式工具不同,OpenAI内部使用的数据分析智能体被设计为「可以与之推理的队友」。它是对话式的、始终在线的,既能处理快速答案,也能处理迭代探索。为了避免不断进化的智能体在学习过程中跑偏,OpenAI团队利用Evals API为智能体配备了一位严格的监管者。而在数据安全方面,该智能体规定用户只能查询他们已经有权访问的表。为了确保数据分析的过程透明,智能体会在每个答案旁边总结假设和执行步骤来暴露其推理过程。
怎么搭建一个数据分析智能体
OpenAI的上述数据分析智能体,并没有开源,不过若想手搓一个类似的智能体,OpenAI的工程师也给出了其中踩过的坑。最初,智能体能访问到完整的数据集,但这很快让智能体迷失在功能重叠数据表中。另一个坑来自开发者给出的高度规范的系统提示词。而最关键的一点,是意识到相比专家对数据表给出标注,数据的真正意义存在于代码中。随着企业数据环境日益复杂,类似OpenAI数据智能体的工具可能成为未来企业数据分析的标准配置,推动整个行业向更高效、更智能的数据驱动决策范式转变。这些智能体的目标不是替代数据分析师,而是增强其能力,将数据分析师从繁琐的查询编写和调试中解放出来,专注于更高级别的定义指标、验证假设和制定数据驱动决策。
3184



被折叠的 条评论
为什么被折叠?



