LakeWatch——MRS 智能运维Agent

凌晨3点，集群告警刷屏，运维人员还在逐组件排查日志——这是大多数大数据团队的日常。华为MapReduce服务（MRS）将Hadoop、Spark、Kafka等全栈组件的监控数据统一开放，让LakeWatch能够跨组件采集全链路运行指标，驱动Agent自主感知集群状态、规划诊断路径、调用接口执行修复。运维，从人工逐屏巡检，进化为Agent驱动的自动闭环。

Lakewatch 核心价值

故障定位 —— 从小时级到分钟级：Agent自动推演故障链路，"看不清、查不明"成为历史。

运维模式升级 —— 从被动补救到主动预防：Agent持续巡检+趋势预警，故障发生前即被化解。

资源利用率优化 —— 数据驱动替代经验依赖：精准识别资源浪费，优化方案可落地、可度量。

运维经验沉淀 —— "数据→知识→智能体"循环飞轮：经验持续沉淀，系统能力随时间复利增长。

人工成本降低 —— 减少70%人工运维投入：团队从"救火队员"转型为"预防专家"。

LakeWatch：MRS Agent运维的核心载体

LakeWatch是华为MRS推出的新一代智能运维Agent，以AI Agent为核心引擎，融合大模型、多维数据分析与Skill扩展机制，构建四大核心模块，为大数据集群提供从被动救火到主动防御的运维范式升级。

智能问诊

1、智能知识问答

对MRS有疑问，直接提问即可。智能问诊结合"产品文档""运维宝典""案例库"进行语义分析，返回精准参考结果。Agent不仅回答问题，更理解问题背后的真实意图，主动关联相关知识和历史案例，提供超越字面意义的分析洞察。

2、Skill能力扩展

支持用户自定义Skill，结合MCP协议将LakeWatch能力作为智能诊断底座，同时支持用户自定义MCP接入。通过Skill机制，专家经验得以持续沉淀，实现知识的复用与传承。

3、多Agent协同统一入口

作为MRS智能运维统一入口，多Agent协同机制结合Skill、知识库与专家经验，覆盖知识问答、作业性能分析、告警处理、集群异常诊断等场景。一个入口，解决所有运维问题，无需在多个系统间反复切换。

集群服务全息监控

1、智能监控大屏

监控大屏展示MRS集群与服务间的依赖关系，多维度指标综合评估健康度，颜色直观区分状态，依赖连线同步呈现关联服务健康状况。Agent主动巡检，识别异常趋势并提前预警，让运维从"事后处理"转向"事前预防"。

2、自定义图表与智能检索

支持用户编写SQL自定义图表，涵盖折线图、柱状图、面积图、饼图、仪表盘等多种形式；提供图表分组与分层管理能力，支持自定义检索，快速定位所需数据。

作业负载分析

1、作业概览 —— 全方位作业运行监控与分析平台

实时掌控全时段作业运行状态，支持按分钟、小时、天粒度展示作业数量与资源使用趋势，深度分析作业耗时、用户、租户等维度。通过历史对比智能识别资源使用异常，精确定位消耗与耗时异常的Top作业，洞察用户与租户的作业分布及资源占用情况。

2、作业诊断 —— 智能异常根因分析与解决方案

基于作业运行全链路数据，运用预置规则精准识别数据倾斜、长尾延迟、资源浪费等异常。结合多Agent协同与大模型能力，深度诊断根因并提供优化方案，形成从发现到解决的全流程闭环。Agent关联历史作业数据、资源使用模式、系统状态等多维信息，识别隐藏性能瓶颈，提供超越人工经验的优化建议。

3、作业详情 —— 作业运行数据全景呈现

提供作业运行全过程的实时数据展示与历史追溯能力，帮助深入了解作业执行状态、快速定位问题根因。

4、作业历史对比 —— 指标变化精准定位，快速定位性能变化根因

支持与历史运行数据横向对比，可设置基准作业作为参考，快速识别指标波动，定位性能变化根因。

5、作业失败根因诊断 —— 智能定位快速修复

深度融合Agent、Skill、大模型及专家经验，快速定位作业失败原因并给出解决方案。通过多Agent协同分析结合历史案例库，诊断准确率持续提升。

计算存储分析

1、计算资源

从资源池、队列、作业等多个维度，对集群CPU与内存资源进行精细化分析与对比，直观呈现不同时间段的空闲、满载等使用状态，识别资源浪费，指导治理优化，为扩缩容决策提供数据支撑。Agent持续监测资源趋势，智能预测需求变化，自动识别优化机会，让资源管理从"被动响应"转向"主动优化"。

2、存储资源

（1）Hive存储资源

对集群Hive元数据提供库、表、分区层级分析，快速识别存储增长过快的表、存储占用量大的用户、数据文件大小比例异常，定位小文件多、分区多的表，为存储治理提供清晰的数据依据。

（2）HDFS存储资源

对HDFS存储进行多维度深度分析（目录、用户、用户组等），涵盖使用量、增量、文件大小分布及数据热度等指标，帮助快速识别增长较快的目录、长期未访问的文件，统计目录文件数量与小文件占比，评估HDFS总存储量与扩缩容需求，为存储治理与资源规划提供全面数据支撑。

LakeWatch，让运维从被动应对走向主动防御。让大数据集群稳定运行，让专家经验不再流失，让每一分资源投入都产生价值。