一、那个周五下午
2025年11月的一个周五，下午三点多。
我刚把一份数据分析报告的最后一版提交上去——用户活跃度分层分析，覆盖最近六个月的数据，交叉了渠道、设备、地域三个维度。
这个报告我做了三天。
第一天，确认需求。产品经理说要"看看用户活跃度的情况"，我问了五轮才问清楚：要看的是DAU/MAU比值的变化趋势，还是按活跃度分层后的留存差异。最后我自己画了个表格，让他勾选，才算对齐。
第二天，写SQL。三张事实表，两张维度表，窗口函数嵌套了三层。中间有个口径问题——"活跃"的定义在2023年改过一次，老数据和新数据不能直接拼接，我花了半天写了个兼容逻辑。
第三天，跑数据、出图表、写结论。Spark任务跑了四十分钟，中间OOM了一次，调了executor内存才跑过去。
周五下午提交的时候，我还挺满意的。结论清晰，数据扎实，图表也做得好看。
然后产品经理在飞书上发了一条消息：
“我刚才用那个Text-to-SQL的工具问了一下，结果跟你报告里的数据基本一样。这个工具挺好用的，以后这种分析是不是不用麻烦你了？”
他说"不用麻烦你了"的时候，语气是真的随意的，不是在讽刺，就是在陈述一个事实。
但就是这个"随意"，让我整个人僵在那里。
二、我花三天做的事，AI花了4秒
我打开他的查询记录看了一下。
他输入的是一句话：“分析最近六个月用户活跃度分层情况，按渠道和地域交叉。”
AI生成的SQL，结构跟我写的差不多，但更简洁。它没有处理那个2023年口径变更的问题——但结果差异不到2%，对于产品决策来说，足够了。
我花了三天。AI花了4秒。
这个对比，比任何"AI取代人类"的文章都来得直接。
那天晚上我加班到九点多，不是因为有事做，是因为不想回家面对那种空落落的感觉。
坐在工位上，我打开了自己这三年做过的所有项目——ETL流水线、数仓分层设计、数据质量监控、Ad hoc分析请求……我开始一个一个想：这些事情，AI能做多少？
答案是：大部分。
写SQL？AI比快。
调Spark参数？AI给的配置方案，跟我调了三年的经验值差不了太多。
出分析报告？AI生成的文字，甚至比我写的还通顺。
那段时间，我每天上班都有一种很奇怪的感觉——不是恐惧，也不是焦虑，是一种"我好像站在一条正在消失的路上"的感觉。路还在，脚底下还是实的，但你知道它正在变窄。
三、真正让我想通的，是一次事故
转折不是突然来的，是一次线上事故把我逼出来的。
12月中旬，我们数据平台接了个新需求——产品要做实时用户行为大屏，要在双12活动期间上线。
产品经理又用Text-to-SQL试了一下，想直接拿实时数据出图。
结果出了事。
大屏上线第一天，运营就发现数据不对——某个渠道的转化率显示为3400%，明显是数据关联错了。
AI生成的SQL，把行为日志表和订单表做了join，但它不知道：行为日志里的渠道字段是新版的归因逻辑，而订单表里的渠道字段是老版的手动填写逻辑。两张表的"渠道"根本不是同一个东西。
这种问题，AI不可能知道。因为在表结构里，两个字段都叫"channel"，类型都是string，看起来完全一样。
但我知道。 因为三年前，就是我把这个归因逻辑改的。
那天晚上，我花了四个小时，把整个数据血缘重新梳理了一遍——哪个字段从哪来、经过了几次转换、口径什么时候变过、为什么变——全部写成文档，录入到了数据治理平台里。
然后我提了一个方案：所有通过AI查询的数据，必须过一层"口径校验"——基于数据血缘文档，自动检查字段定义是否一致，不一致的给出告警。
这套东西上线之后，AI查询的错误率从35%降到了不到5%。
四、后来我想明白的事
那次事故之后，我想了很久。
AI能跑SQL，能出报告，能做可视化。那我这三年，到底积累了什么AI没有的东西？
不是"会写Spark"——这个AI也会。
不是"会调参数"——AI调得比我还快。
不是"会写SQL"——AI写得比我简洁。
是这些：
我知道每个字段背后的故事。 这个"渠道"字段为什么在2023年改过一次？因为那年公司做了渠道归因体系的重构，从"最后点击"改成了"多触点"。这种业务背景，文档里没写，表结构里更没有，但在我脑子里。
我知道哪些数据不能信。 有一张"用户标签表"，2024年迁移过一次，中间有两个月的数据是脏的。谁要是直接用这张表做分析，结论一定会偏。这个坑，只有踩过的人知道。
我知道数据从哪来、到哪去、中间变了什么。 这套血缘关系，是我三年一条一条建起来的。AI能查询数据，但它查询的前提，是有人把这套基础设施搭好了。
这些东西，叫"数据治理"。不是写代码，是建立信任——让每一份数据都可追溯、可解释、可信赖。
五、我后来做了什么
第一件事：把数据治理做成了产品。
我把三年积累的数据血缘、口径文档、质量规则，全部系统化，做成了一套"数据可信查询"的中间层。AI查询要过这一层，确保每次返回的数据都是"有据可查"的。
这套东西上线之后，不光是AI查询，连业务团队自己查数也变得靠谱了。数据相关的工单量降了60%，因为大部分"数据不对"的问题，在查询阶段就被拦截了。
老板在季度会上说：“这是我们数据团队今年最有价值的一个项目。” 他说这句话的时候，我想到的是那个周五下午，产品经理那句"不用麻烦你了"。
第二件事：开始研究AI+大数据的混合架构。
AI能查结构化数据，但大量的用户反馈、客服记录、评论文本这些非结构化数据，传统数仓处理不了。我把向量检索引进来，让AI不仅能查"数字"，还能查"文字"——把用户反馈和结构化指标关联起来，做语义层面的分析。
这个方向现在市面上做得好的人不多。我算是早进来的，不是因为我多超前，是因为我在这行待了三年，知道痛点在哪。
六、写在最后
我以前觉得，数据工程师的核心能力是"会写代码处理数据"。
现在我觉得，数据工程师的核心能力是"让数据可以被信任"。
AI能跑SQL，但它不知道这个字段为什么这么设计。
AI能出报告，但它不知道这份数据背后的口径变了三次。
AI能做分析，但它不知道哪些数据是脏的、哪些结论是陷阱。
这些"不知道"的东西，就是我三年积累的价值。
不是AI替代了我，是AI让我看清了自己真正值钱的地方在哪。
以前我是个"写Spark的人"。
现在我是个"让AI能查对数据的人"。
这个转变，说起来就一句话，但走过来，花了整整三个月。
如果你也在做数据，也在慌，我给一个建议：别去跟AI比写SQL的速度，去把你脑子里的那些"表背后的故事"变成文档、变成系统、变成别人（包括AI）离不开的基础设施。
那才是你真正的护城河。
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
396
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
