拆代码那天
去年十一月的一个下午,我把线上服务里的图检索模块注释掉了。
注释了两千多行代码,删了三个定时同步任务,停了两台 Neo4j 实例。重新跑了一遍评估集,准确率从 78% 涨到 81%。
也就是说,我花了两个月建的东西,拆掉之后效果变好了。
这篇文章就是那次翻车的完整复盘。写出来不为了自嘲,是因为我后来发现,掉进这个坑的团队特别多——大家都觉得"更复杂的架构显得更先进",但很少有人先问一句"我的问题真的需要它吗"。
一、当初为什么决定上 GraphRAG
先说我当时的判断依据,因为错误往往就藏在决策过程里。
项目背景:一个集团的内部知识库,包含几千份制度文件、合同模板、会议纪要,还有一部分组织架构和业务关系资料。用户是集团和各子公司的员工。
最初的方案是基础的向量检索。上线三个月,反馈两极:简单的条款查询挺好,但用户问"XX 子公司和 YY 公司之间有哪些业务往来"、"我们集团涉及合规风险的事项主要集中在哪些领域"这类问题时,答案很差。
我当时的推理是这样的:
第一,这些问题涉及多个实体之间的关系,向量检索没有关系概念,所以不行。
第二,GraphRAG 正是为关系设计的,实体、关系、图查询,完全对症。
第三,我们手里有组织架构、业务往来这些结构化资料,正好可以用来建图。
第四,竞品有案例,论文有数据,方向应该没错。
这四条推理,每一条单看都对。但它们合在一起,跳过了最关键的一步:验证"这类问题占多大比例"。
我后来统计了真实提问,这类关系型问题占 8%。剩下的 78% 是条款查询,14% 是跨文档归纳。
我为一个 8% 的问题,重构了整个系统。
二、那两个月具体做了什么
第一个月,知识抽取。
把几千份文档过一遍大模型,抽实体和关系。这一步就暴露了第一个问题:抽取质量极不稳定。
制度文件里的"XX 部门"经常有简称和全称混用,模型有时候把它们当成两个实体。合同里的甲方乙方在不同文档里指代不同公司,抽取出来后图上串成了一团。
我们加了实体对齐规则、人工校对了一部分、迭代了几轮 Prompt。抽取准确率从大概 65% 提到 82%。听着还行,但那 18% 的错误在图上表现为错误的关系边,而错误的边会导致错误的答案——而且很难被发现,因为图看起来是对的。
第二个月,图索引与检索链路。
建了两套图:实体关系图(谁和谁什么关系)和主题图(文档主题的聚类)。检索时先做实体识别,然后在图上做多跳查询,再把查询结果和原始文本一起喂给模型。
链路跑通了,效果确实在关系类问题上有提升。那几个典型问题答得比以前好。
但代价浮出来了。
第一,延迟。一次图查询加多跳遍历,平均增加 1.8 秒。原来 2 秒的响应变成 3.8 秒,用户明显感知到变慢。
第二,成本。抽取阶段就花了不少,日常还要跑增量同步。每月新增的模型调用和图数据库费用,大概是原来纯向量方案的 3 倍多。
第三,维护。文档一更新就要重跑抽取,实体对齐规则一改就要全量重建。我们每周花在这上面的时间,比做新功能还多。
三、上线三个月后,我做了完整的归因
三个月后我拉了数据,做了件之前就该做的事:按问题类型看效果。
结果是这样的:
| 问题类型 | 占比 | 上 GraphRAG 前 | 上之后 | 变化 |
|---|---|---|---|---|
| 条款与制度查询 | 78% | 76% | 76% | 无 |
| 跨文档归纳 | 14% | 62% | 64% | 微弱 |
| 关系型查询 | 8% | 41% | 79% | 显著 |
关系类问题从 41% 涨到 79%,这个提升是真的。但它是 8% 的问题。
而我为了这个 8%,付出了三倍成本、1.8 秒延迟、每周十几个小时的维护。
更糟的是,那 78% 的条款查询,效果一直停在 76% 没动过。而它才是主战场。
四、复盘:三个判断错误
错误一:用"技术匹配度"代替"业务价值"。
我的推理链是"这类问题需要关系检索 → GraphRAG 擅长关系检索 → 所以上 GraphRAG"。这条链缺了权重:这类问题占多少、重要到什么程度、值不值这个投入。
正确的推理应该是:"这类问题占 8%,即使做到 100% 准确,整体准确率也只能提升 8 个百分点,而投入是两个月加三倍运行成本。"算完这笔账,结论会完全不同。
错误二:忽略了主战场的瓶颈。
78% 的条款查询卡在 76%,我一直以为"这就是向量检索的天花板"。实际上不是——后来我加了关键词检索和重排序,这一类从 76% 涨到 91%。
我当时该做的是修主战场,而不是给次要战场建豪华设施。
错误三:低估了图的维护成本。
建图是一次性投入,维护是持续投入。而持续投入这件事,在立项时特别容易低估。我当时的估算是"每月两天维护",实际是每周十几小时。
知识库这种场景,文档持续更新,抽取持续重跑,图持续变化。它不是建一次就完事的东西。
五、改回来之后
拆掉图的部分,做了三件事:
第一,加关键词检索。 条款查询里有大量"第 X 条"“XX 办法”"GB/T XXXXX"这类精确匹配需求,向量检索天然弱。加 BM25 之后,这类问题的召回明显改善。
第二,加元数据过滤。 把文件类型、发布部门、生效日期、版本号做成结构化字段,检索前先过滤。用户问"现行有效的人力资源制度",先按状态和部门筛,再检索。
第三,加重排序。 初次召回二十条,重排后取前五。这一步对相似条款的区分效果很好——十个版本的人事制度里,能准确挑出最新的那一版。
改造花了两周。结果:
| 指标 | 改造前 | 改造后 |
|---|---|---|
| 整体准确率 | 78% | 91% |
| 条款查询 | 76% | 91% |
| 跨文档归纳 | 64% | 78% |
| 关系型查询 | 79% | 72% |
| 平均延迟 | 3.8s | 1.9s |
| 月成本 | 3.2 倍基准 | 1.2 倍基准 |
关系型查询从 79% 掉到 72%,掉了 7 个点。这是拆掉图的代价。但对整体来说,83% 的问题类别提升了 15 个点,8% 的问题类别掉了 7 个点,净值是正的。
而且延迟减半、成本降到三分之一、维护时间从每周十几小时降到每月两小时。
六、如果重来,我会怎么走
第一步,先收集真实提问。 从工单和群聊里捞三百条,按六类打字:精确事实、语义知识、长文档综合、关系全局、经营指标、复杂任务。统计占比。
这一步花两天,但它能避免两个月的错路。
第二步,答清五项条件。 知识形态、问题类型、准确度要求、权限规则、成本时效。写成一页纸。
第三步,从最简方案起步。 基础向量跑出基准,测出每类问题的准确率。
第四步,按瓶颈加能力。 哪类不达标就针对性加。精确匹配弱加关键词和元数据,排序不准加重排序,长文档丢上下文用层级,关系问题——注意——先算清楚占比再决定值不值。
第五步,每加一层都验证。 用同一套评估集,看整体指标、分类指标、延迟、成本。
如果按这个流程走,我在第二步就会发现"关系型问题只占 8%",从而避免后面所有弯路。
七、三个可以抄走的判断
判断一:按问题占比分配投入,不按技术先进性分配。 一个方案能提升 8% 的问题,就不该占用 60% 的资源。
判断二:先修主战场,再建豪华设施。 主战场(占比最高那类)提升 10 个点,比次要战场提升 40 个点更有价值。而且主战场的提升往往更便宜——加个关键词检索、加个重排序,成本很低。
判断三:把维护成本算进立项。 建一次的成本好估,持续维护的成本最容易漏。问自己一句:这东西每周要花我多少时间?如果答案是"十几小时",那它必须是核心价值来源,否则不值得。
收尾
最后说一句可能有点得罪人的话:GraphRAG 本身没问题,它在关系密集的场景里确实有效。问题在于很多人(包括当时的我)把它当成"更高级的方案",用来解决"效果不够好"这个模糊的诉求。
而"效果不够好"这个诉求,八成是因为基础方案没调好。
原文里有句话我特别认同:先确认现有方案在哪个环节无法满足要求,再增加对应能力。没有经过业务问题分类和效果评估,直接选择复杂架构,只会增加建设、运行与维护成本。
那两个月换来的教训,就是这句话的实证。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】


为什么要学习大模型?
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。


大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!

2、大模型学习书籍&文档
学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。

3、AI大模型最新行业报告
2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

4、大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

5、大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

适用人群

第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

1320



被折叠的 条评论
为什么被折叠?



