我把公司的工单系统塞进了大模型：一次完整的实战复盘

关注

原创最新推荐文章于 2026-08-27 09:27:40 发布 191 阅读 AI 写同款· GEO 优化 ›

大模型API降本5大实战技巧：输入压缩、模型分级、输出管控与语义缓存 大模型API调用成本高，核心症结在于无效token消耗——包括RAG冗余chunk、重复系统提示、过度生成及低效路由。其本质是输入未过滤、模型未分级、输出无约束、缓存不语义。通过语义截断与提示词极简优化可压缩90%无效输入；基于认知深度的任务分级+自动降级机制，让中端模型承担80%常规任务；强制JSON结构化输出与流式智能截断，确保每个输出token带KPI上岗；而语义缓存（非字符串匹配）结合Redis向量搜索，使70%请求免调模型。这些不改模型、不增架构的工程化技巧，直击LLM落地中的token浪费顽疾。阅读详情

完整复盘一个真实项目。从一句模糊的老板需求，到系统上线跑了大半年，中间所有的判断、踩坑、没做成的事，都摊开。

选这个项目讲，是因为它足够普通。不是什么明星AI产品，就是一家公司的内部工单系统改造。但恰恰因为普通，它代表了你转型后大概率会面对的真实工作。

起点：一句"能不能搞智能点"

事情的起因特别典型。公司内部的工单系统，IT、行政、HR共用，一个月三千多单。老板在某个群里转了一篇AI的文章，配了一句：咱们的工单能不能搞智能点？

没有需求文档，没有预算说明，就这一句话。这几乎是所有内部AI项目的标准开场，你要习惯。

接到活儿之后我做的第一件事，不是选模型，是拉数据。把过去一年的工单导出来，几万条，一条条抽样看。看了一周，看出三个事实：一是四成工单是重复性问题，密码重置、权限申请、打印机又坏了；二是工单分派全靠值班人肉眼判断，经常分错，一个单子在三个组之间踢皮球；三是处理人的回复质量参差，新人回复经常被投诉敷衍。

对着这三个事实，方案自己就浮出来了：AI不解决所有问题，只切三个点——自动分类分派、相似历史工单推荐、回复草稿生成。这个"只切三个点"的决定，是整个项目里最正确的判断，后面细说。

方案：先想清楚哪里不用AI

很多AI项目失败，不是技术不行，是上来就想"全面智能化"。我们当时的原则反着来：先假设哪里都不用AI，再逐个论证哪里非用不可。

论证下来，三个切入点各有各的道理。自动分类，本质是文本分类任务，大模型干这个得心应手，而且分错了有人工兜底的入口，风险可控。相似工单推荐，是embedding检索的标准用法，处理人开工单时看到"历史上类似问题是怎么解决的"，对新人帮助尤其大。回复草稿，模型先写一版，人改完再发，责任主体还是人。

同时明确划掉了两个"不用AI"的地方。一是工单的最终关闭，必须人来点，AI只提供参考结论，因为这涉及 SLA 考核，不能让模型背锅也背不起。二是涉及薪资、人事的工单，直接不进AI流程，数据敏感，别给自己找麻烦。

这个"划界"动作，后来在汇报时反而成了加分项。老板们听多了AI万能论，一个明确说"这里我们不用AI"的方案，可信度反而高。

实施：坑全在看不见的地方

技术栈不复杂：现成的模型API、一个向量数据库、Node中间层，前端在原来的工单系统里加三个AI入口。真正难的是下面这些。

第一个坑，历史工单的数据质量。想做相似推荐，得先把历史工单灌进向量库。灌进去才发现，大量工单的正文是"同上"“见附件”“电话沟通过了”，有效信息趋近于零。最后不得不加一道清洗工序：先用模型把低质量工单筛出来剔除，只留信息完整的入库。入库率不到六成，但检索质量反而上来了。脏数据是内部AI项目的隐形杀手，十个项目九个倒在这。

第二个坑，分类边界的扯皮。AI分类的准确率，第一版只有七成。查下来发现，很多工单连人类都分不清该归谁，"我报销系统登不上去"算财务系统问题还是账号权限问题？这个问题不是模型问题，是公司的分类体系本身就糊。最后的解法是给模型开放"不确定"选项，拿不准的单子标出来人工分，宁肯少分，不能错分。两个月跑下来，人工顺手标的几百条，又成了优化分类的养料。

第三个坑，回复草稿的"幻觉礼貌"。模型写的回复，态度永远温和得体，但偶尔会虚构承诺，比如"我们将在24小时内为您处理"，公司根本没这个SLA。解法是从Prompt里明确禁止任何时限承诺，加上敏感词正则兜底扫描，命中就标红让处理人确认。模型生成的东西，永远不能免检上岗，这是底线。

上线后：真实数据，不含美颜

系统跑了半年，说几个真实数字，好的坏的都有。

自动分类，稳定后准确率八成五左右，工单平均流转时间从原来的一天半缩到四个小时左右。这是最成功的一块。

相似工单推荐，使用率不算高，大概三成处理人会点开看，但点开的人里，新人工单的首次解决率有明显提升。属于"用得不多但有用"的功能。

回复草稿，这是最打脸的一块。上线前我预期它能省一半打字时间，实际下来，处理人的使用率只有四成。访谈了一圈，原因很现实：老手写回复本来就快，看AI写的还得检查一遍，不如自己敲；真正受益的是新人和非技术岗的行政HR，他们的采纳率接近八成。所以这个功能最后调整成"默认对新人生成草稿，老人手动唤起"，才不尴不尬地活了下来。

整体看，项目算不上辉煌，但每月省下来的人力是实打实的，老板满意，团队也没人被AI替代，只是活儿干得快了点。这大概就是内部AI改造的常态：不是颠覆，是拧毛巾，把流程里的水分拧出来。

一笔很少被提及的账：成本

还有个事儿，很多AI项目的复盘都闭口不谈：钱。

这套系统每个月的模型API费用，折算成人民币大概几千块，量级取决于调用量。听起来不多，但内部系统老板是会算账的：这笔钱换回来的人力节省，划不划算？我们的结论之所以站得住，是因为分类和草稿这两个功能切的是高频场景，调用量大但单次成本极低，省下来的工时折算回来是API费用的好几倍。

这给我们提了个醒：AI功能不是上线就完事，要持续盯着调用量的构成。我们中途就发现过一笔浪费：有个页面的入口设计得太随意，用户随手一点就触发一次完整检索加生成，大量调用是无效好奇。后来把入口改深了一层、加了一句提示，调用量降了三成，没人抱怨。控制AI成本，一半是技术问题，一半是交互设计问题，这个认知也是我后来做AI应用时的重要心法。

复盘：这个项目教会我的四件事

第一件，AI改造的起点永远是数据和流程，不是模型。看数据的这一周，比后面所有技术选型都值钱。

第二件，给AI划边界，比给AI找场景更需要功力。哪里不用、哪里慎用、哪里放心用，这个判断力来自对业务的理解，模型说明书里没有。

第三件，使用率比准确率更重要。一个九成准确但没人用的功能，价值是零。功能上线只是起点，盯着真实使用数据持续调，才是常态。

第四件，也是和转型最相关的一件：这个项目里真正难的部分，没有一个是"会调API"能解决的。数据清洗的判断、分类边界的协调、人机分工的设计、使用率低迷时的访谈和调整，这些靠的是工程经验、产品 sense 和跟人打交道的能力。所以别担心自己只是个"会调接口的"，接口谁都会调，值钱的是接口之外的那一大圈。

下一篇换个角度：聊聊转型路上我亲眼见过的那些坑，有些是我自己踩的，有些是看着别人踩的，希望你一个都别踩。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2026 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇