【技术革新】Ambari EDP 告别 Ambari Metrics,拥抱 Prometheus 生态,新旧监控对比

图片

点击卡片“Ambari EDP 大数据”,选择“设为星标”或“置顶”

回复“Ambari知识库”可领取独家整理的Ambari学习资料!

图片

引言:一次彻底的革新

在经历了多年的 Ambari Metrics System (AMS) 痛点后,EDP 团队终于对 Ambari 的监控系统进行了一次彻底的改造。这次升级不仅仅是简单的功能优化,而是完全拥抱了 Prometheus 生态,为用户带来了全新的监控体验。

关于 Ambari Metrics 的槽点,可以看这篇文章:【技术革新】当古老的 Ambari Metrics 遇上现代监控:我们如何重构一个停滞不前的监控系统

所以我们决定重构 Ambari 监控,重构后的监控功能:

  • 完美接入了 Prometheus 全家桶

  • Prometheus 兼容的时序数据库都可以

  • 内置了常用的监控大盘,拿来就能用

  • 为自定义组件添加新监控,上手容易,学习门槛低。

我们不但把原来监控的功能都给保留了,还全面升级加强了一波。现在的监控更全面、更好用、想怎么扩展就怎么扩展。

1、Ambari 首页(工作台)

1)Ambari 旧版首页

实话说,Ambari Metrics 在首页的监控指标并不友好:

  • 指标展示方式单一,缺乏直观性

  • 自定义监控指标困难

  • 大多数用户只是为了界面好看而运行 Ambari Metrics

  • 添加自定义监控指标的学习门槛过高

2)Ambari EDP 新版首页

再来看下 Ambari EDP 新版首页,如下图所示:


  • 默认展示"机器常用指标"

    • 存活节点数量实时展示

    • 节点启动时长监控(精确到秒级)

    • 各节点CPU使用率

    • 内存使用率

    • IO使用率

    • 磁盘使用率

    • 历史趋势图

  • 支持灵活的面板定制

    • 可自定义图表类型(时序图、柱状图、饼图等)

    • 支持图表拖拽排序

    • 面板布局自适应

  • 一键设置监控面板自动刷新频率

  • 便捷的时间范围选择

如下图所示:

“机器常用指标”是“仪表盘列表”的其中之一,目前还有 Hadoop、Yarn、HBase 等服务的监控仪表盘。

更多详细信息可跳转至 本文章节3、监控仪表盘管理 。

2、监控数据源管理

在 Ambari EDP 中,增加了监控数据源配置管理。EDP 支持很多数据源,只要是 Prometheus 兼容的数据库都可以,所以就需要这个管理界面了。

1)数据源列表
2)创建数据源

新增数据源类型“Prometheus Like”,也就是 Prometheus 兼容的数据库,支持的数据源有:

  • Prometheus
  • Thanos
  • VictoriaMetrics Cluster Version
  • VictoriaMetrics Single Version
  • M3
  • SLS

如下图所示:

3、监控仪表盘管理

在此页面可新增、导入、修改、克隆、导出、删除仪表盘。

点击某仪表盘,可维护该仪表盘的各图表,如下图所示:

添加图表的页面如下图所示:

也可以对已有图表进行管理(编辑、克隆、拷贝、删除等操作),如下图所示:

4、各服务中的监视页面 Metrics

1)Hadoop

Ambari 旧版监控

在 Ambari 旧版 HDFS 监控,只能展示有限的指标,自定义指标的门槛依旧很高,缺乏历史趋势分析能力。如下图所示:

Ambari EDP 新版监控

在 Ambari EDP 新版 HDFS 监控中,将指标以组件的维度进行展示,一个组件一个监控面板。并且每个监控面板的指标都非常丰富,且支持自定义图表。像 Prometheus + Grafana 一样的习惯配置即可。

  • HDFS DataNode 监控大盘
  • HDFS NameNode 系统资源监控
  • HDFS 系统概览
2)YARN
  • YarnNodeManager 业务监控大屏
  • YarnResourceManager 业务监控大屏
  • YarnResourceManager 系统资源监控
3)HBase
  • HBaseMaster 监控大盘
  • HBaseRegionServer 监控大盘

5、指标查询

可在“Metrics Query”页面查询指标值。拥有专业的查询界面

  • Table 视图(实时数据展示),可显示某一时刻的值,默认是当前时间。

  • Graph 视图(趋势分析),默认显示最近 1 小时(时间范围可任意选择)的该指标的历史趋势。

强大的查询功能:

  • 支持复杂的 PromQL 查询

  • 自动补全提示

  • 查询历史记录

  • 添加多个查询面板

添加查询面板,可继续查询指标。

6、总结

Ambari Metrics 监控指标不全面,自定义指标困难,监控数据不显示难排查等痛点,现如今已被 Ambari EDP 解决。Ambari EDP 通过监控数据源管理、监控仪表盘管理、指标查询、拥抱 Prometheus 生态,将 Ambari 监控功能变得更丰富、更强大!

对于熟悉 Prometheus 和 Grafana 的用户来说,新版监控系统将是一个熟悉且强大的工具。而对于新用户,完善的模板和直观的界面也能让他们快速上手。未来,我们将继续优化和增强这个系统,让它成为大数据平台运维的得力助手。

Ambari EDP 新版监控,替代了深受网友吐槽的 Ambari Metrics,拥抱了 Prometheus 生态,未来可期! 

Ending

图片

一个人可以走得很快,但一群人才能走得更远。Ambari EDP 为我们提供了 HDP 不更新、CDH 价格高昂的平替方案,支持各种国产操作系统,集成了 30+ 组件,形成了好用的大数据平台解决方案。欢迎大家点击左下角阅读原文了解 Ambari EDP,与我们取得联系,希望 Ambari EDP 提供的服务可以帮助到你。

图片最后,把我的座右铭送给大家: 执行是消除焦虑的有效办法,明确并拆解自己的目标,一直行动,剩下的交给时间。 共勉 💪。

“阅读原文”,查看Ambari EDP最新内容

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值