从辅助驾驶到自主闭环：腾讯云ES的Agentic AIOps实践

导读：2 万多个集群、10 万多个节点、23 个开服地域——在这样的规模上做运维，传统 AIOps「看得见异常、串不起因果」的模式已难以为继。在腾讯云 x Elastic AI 搜索技术大会上，腾讯云 ES 云平台研发负责人吴容发表《AI Agent 驱动下的腾讯云 ES 集群智能运维实践》演讲，分享了覆盖事前巡检、事中诊断、事后洞察的 Agentic AIOps 四层架构，以及一个发人深省的反面案例：一次「听 AI 的话」的操作，如何让 1.4 亿文档瞬间掉零——以及由此长出来的三道安全防线。

AI Native数据平台下的系统智能

腾讯云大数据在 AI Native 数据底座上构建了四大智能象限：计算智能让 Agent「跑得快」，存储智能让 Agent「存得下、取得到」，数据智能让 Agent「替你分析」，系统智能让平台变成 Agent「自己管理自己」——自主感知、自主诊断、自主处置、自我演进。系统智能的核心载体是自研大数据智能管家 TCInsight，已覆盖 EMR、DLC、ES、TCHouse 等核心产品。本次分享聚焦的，正是系统智能在腾讯云 ES 智能运维场景的落地。

AI Native数据平台四大智能象限与TCInsight

腾讯云 ES 是基于 Elasticsearch 的云端全托管服务，覆盖日志分析、在线搜索、数据分析、安全与可观测五大场景，目前纳管 2 万+ 集群、10 万+ 节点，在国内外 23 个地域提供服务。一个明显的趋势是：在线搜索场景正从传统关键词检索、全文检索，演变为向量检索、混合检索、多模态检索与 Agentic Search，占比持续上涨。产品三层架构中，自研内核层围绕成本、扩展性、性能、稳定性与 AI 向量检索做了大量增强（读写分离、存算分离、IO 并行、Slice-DiskBBQ、Native 加速等），管控平台层则提供从文档解析、切片、Embedding、Rerank、意图识别、多轮改写的一站式原子服务与统一在线推理服务。

运维范式的三次跃迁

运维系统的演进可以归纳为三个阶段

脚本/自动化运维（1990s-2015）：用脚本代替人工重复操作，但脚本写死场景、环境一变就失效，规模指数增长、维护成本同步暴涨。

传统 AIOps（2016-2023）：用 AI/ML 算法辅助人类，异常检测、告警降噪、根因分析成效显著。但它本质是「辅助驾驶」——监控到集群 CPU 打满、熔断、查询拒绝时，传统 AIOps 能快速发现异常并推送告警，却给不出具体根因，也无法自愈闭环。性能与稳定性问题高度依赖专家经验，专家也要在多个系统的 Dashboard 之间反复切换串联上下文，一次根因分析往往 30 分钟起步。

Agentic AIOps（2024 至今）：引入 AI Agent 实现从异常感知、自主推理到故障自愈的端到端闭环。最大突破在于打破数据孤岛、全栈上下文自动关联，基于多系统数据在几分钟内推理出根因并给出完整证据链，人只审批高危操作。

从脚本自动化到Agentic AIOps的三次范式跃迁

四层架构：多智能体编排×能力读写分级×默认护栏

腾讯云 ES 的 Agentic AIOps 系统架构分四层：

L4 数据感知层：统一日志平台（集群运行日志、慢日志、GC 日志、管控流程日志）、统一监控系统（节点/索引/分片指标、火焰图）、统一事件中心（变更、告警、IaaS、安全事件）与统一 Trace 平台。这一层值得展开：数据质量越高、可观测能力越强，Agent 的根因分析准确率就越高。同样一个节点离线告警，没有数据感知层的 Agent 只能给出泛泛猜测；有了日志、监控、事件的输入，它能明确告诉你「底层 IaaS 宿主机故障导致节点离线」或「一波大查询导致集群熔断 OOM」。

L3 Skills & MCP 层：系统不再面向人、而是面向 Agent 设计。丰富的 MCP Tools 让 Agent 快速获取各数据源，日常运维积累的专家经验则沉淀为 4 套 Skill，指导 Agent 有规范、有条理地工作。

L2 Agent 引擎层：多 Agent 架构各司其职——事前的巡检调优 Agent（定时巡检、自定义策略，把隐患消灭在萌芽）、事中的智能诊断 Agent（性能诊断、根因定位 RCA，日常值班与工单处理中使用最多）、事后的洞察分析 Agent（工单数据分析、客情预警、需求挖掘，共性问题回流补充 Skill）。

L1 接入层：整套 AIOps 能力可被多个 Agent 产品集成——TCInsight、WorkBuddy、KiKi，以及客户自己的 OpenClaw、AnClaw。

多智能体编排、能力读写分级、默认护栏——这是这套方案与「套一个 LLM Agent」的三点根本不同。

腾讯云ES Agentic AIOps四层系统架构

Skill 能力地图按「只读 / 可写授权」两个维度划分：

知识库 Skill（只读）沉淀官方文档、最佳实践、运维手册、历史故障案例、内核原理，是 Agent 的经验存量，承载了约 70% 的使用率；

根因分析 Skill（只读）覆盖集群运行时所有「读」路径——日志、监控、拓扑、配置、分片分配；

自动化运维 Skill（可写、需授权）处理索引级变更——修改副本数、分片搬迁、动态调参、Rollover；

实例管理 Skill（可写、需授权）编排集群级生命周期——创建、扩缩容、版本升级。Agent 组合调用四套 Skill，构成从「查看」到「变更」的完整运维闭环。

Skill能力地图：按只读/可写授权两个维度划分

从事中诊断到事前自愈

在控制台侧，多个入口提供了 AI 触点：监控页面发现指标超阈值会自动标记异常范围，支持一键触发 AI 诊断给出根因；日志页面支持对慢日志、异常日志一键分析调优——terms 查询数值类型、wildcard 模糊匹配、从 _source 过滤字段这类高耗模式，知识库 Skill 里都有完整的最佳实践沉淀。

比事中更进一步的是事前。三个典型的无人值守自愈场景：

• IaaS 隐患自愈——巡检事件中心发现隐患，检查健康、副本、分片与负载，定位隐患节点，自动发起蓝绿替换；

• 容量性能巡检——CPU/内存上涨或触发熔断，分析负载趋势与瓶颈节点，判定横向扩容并自动计算目标规格发起扩容；

• 健康状态巡检——集群变 Yellow/Red 时定位根因（如磁盘水位线触发），自动发起磁盘扩容回到 Green。

感知—诊断—决策—执行—恢复全链路自动化，每一步可审计、可回放。

AI Agent从自主感知到自愈闭环的三个典型场景

这些场景已经产品化：磁盘自动扩容在控制台一键开启，触发条件、比例、上限全可控。上线以来，3700+ 集群开启自动扩盘，累计发起 2800+ 次自动扩盘流程，磁盘水位异常导致的告警与工单相比去年下降 73%。

运维门槛下降，安全风险上升

AI 让高阶运维命令像输出 HelloWorld 一样简单——普通运维人员在不理解原理的前提下，也能轻松接触到置空分片、forcemerge、reindex、shrink/split 这些资深运维才会碰的命令。门槛大幅下降，稳定性风险显著上升。

演讲中分享了一个今年年初的内部测试案例：对测试集群发起突增高频 Wildcard 大查询，触发熔断、多节点离线、集群变 Red；测试同学咨询自己的外部 AI 助手如何恢复——这个 AI 没有任何集群上下文，直接建议「置空分片恢复」；照做之后，索引 docs 从 1.4 亿瞬间掉到 0。所幸最终从快照备份恢复。这个案例引发了团队深度复盘：AI 在降低门槛、提升效率的同时，潜藏着非常严重的危险。

内部测试典型案例：1.4亿文档瞬间掉零的教训

由此长出平台级三层防护体系：

1. 命令分级白名单：100+ 常见命令按 readonly / mutating / destructive 三级分类，默认只读，变更按级开放，开启时明确告知应用场景与风险；

2. 高危命令黑名单：allocate_empty_primary、_delete_by_query、_forcemerge、_dangling 等直接拦截，所有 DELETE 操作全面封禁，拦截时给出替代方案；

3. 二次确认 + 全链路审计：变更类操作必须人类确认，内容、影响、回滚「三件套」缺一不可；who / when / prompt / tool_call / result 全程可回放。

平台防护做得再好，也拦不住客户用其他 AI 工具直连集群 endpoint。因此内核引擎层再加固：内核默认拦截置空分片等高危操作并支持独立开关动态控制；请求溯源默认记录读写流量以外的请求；数据软删除——删除/置空的数据先移入 trash 并上传 COS 暂存（默认 1 天可配），支持 API 恢复导入。平台 + 内核双保险，构成 Agentic AIOps 时代的安全防护体系。

三层防护体系+ES内核安全加固

结语

传统 AIOps 的数据断、因果断、行动断三段断链，腾讯云 ES 用 Agentic AIOps 的四层架构一一接上；效率大幅提升的同时，用三道防线守住安全底线。智能运维的终局不是「让 AI 放手干」，而是「让 AI 在护栏内自主闭环」——这或许是 2 万集群、10 万节点规模下最务实的一条路。