Ambari 整体架构

 

Ambari 整体架构图,由图中可以看出,主要有4部分:

Brower:指的是前端,前端通过 HTTP 发送 Rest 指令和 Ambari Server 进行交互。

Ambari Server:是一个 web 服务器,开放两个端口,分别用来和前端、Agent 进行交互。从图中也可以看出,Ambari Server 的数据存储在 MySQL 中。

Metrics Collector:是一个 web 服务器,提供两个功能,一方面将 Metrics Monitor 和 Metrics Sink 汇报上来的监控信息存储到 HBase 中,另一方面提供监控信息查询接口,供 Ambari Server 进行查询。

Host:实际安装大数据服务的主机,可以有多台。从图中可以看出,每台主机都安装有一个 Ambari Agent 服务和 Metrics Monitor 服务,有些组件如果需要更详细和特有的监控信息,可以集成相对应的 Metrics Sink(比如HDFS的 Metrics Sink 可以监控空间的使用情况)。

两条业务线:

核心业务:集群的统一部署、管理以及基本的监控(比如组件的存活情况)都是由这条线来完成的,由前端、Ambari Server 和 Ambari Agent 组成。
前端提供可视化界面,发送操作指令;Ambari Server 维护着整个集群的状态;Ambari Agent 执行具体的指令去操作服务和组件,而且会通过心跳汇报 Host 和服务的状态信息。

Metrics 监控业务:提供详细的监控功能,由 Metrics Collector、Metrics Monitor、Metrics Sink 组成。
Metrics Collector 存储监控信息,并提供查询接口;Metrics Monitor 主要负责收集并汇报 Host 相关的指标,比如主机的 CPU、内存、网络等;Metrics Sink 负责收集并汇报组件的相关指标,比如该组件的 CPU 使用率,内存使用情况等。

 

转载于:https://www.cnblogs.com/basenet855x/p/6705552.html

### 使用 Ambari 管理 Flink 集群配置与监控的最佳实践 #### 一、Ambari 和 Flink 的集成概述 Apache Flink 是一种分布式流处理框架,而 Apache Ambari 则是一种用于管理和监控 Hadoop 集群的工具。通过将两者结合,可以实现对 Flink 应用程序的集中化管理[^1]。具体来说,Ambari 提供了一个形化的界面来简化安装、配置以及监控过程。 对于未被 Ambari 默认支持的服务(如 Flink),可以通过自定义服务的方式将其集成到 Ambari 中[^2]。这使得管理员能够像管理其他 Hadoop 组件一样轻松地控制和监视 Flink 集群。 #### 二、Flink 集成至 Ambari 的方法 要使 Flink 成为 Ambari 可识别的服务之一,需遵循特定的工作流程完成其定制化开发: - **克隆官方仓库中的模板代码** 开发者可以从 GitHub 上获取预构建好的脚本集合,并依据实际需求调整这些材料以适配目标环境。例如命令如下所示: ```bash [root@node02 ~]# git clone https://github.com/abajwa-hw/ambari-flink-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLINK ``` 此处 `$VERSION` 表示当前使用的 HDP 版本号[^3]。 - **测试部署效果** 如果希望快速验证整个方案的有效性,则可以直接采用虚拟机形式提供的沙盒环境来进行初步尝试。只需下载对应版本的 HDP Sandbox VM 并按指引文档逐步操作即可[^4]。 #### 三、增强功能——引入指标监测机制 除了基本的功能外,还可以进一步扩展系统的可观测能力。以下是关于如何实施这一改进的具体指导: - **更新元数据描述文件 (metainfo.xml)** 在该 XML 文档内部指定新的时间线应用 ID (`<timelineAppid>`) 字段值为 `flink` ,从而允许 Timeline Server 能够正确解析来自此来源的数据包。 同时需要注意的是所选名称应当保持唯一性以免与其他已存在条目发生冲突;另外由于大小写字母在此场景下无意义区别对待因此不必过分关注这方面细节问题[^5]。 - **注册额外性能统计项** 根据业务逻辑设计专属 KPI 指标并通过编程手段接入现有架构体系之中以便实时追踪作业表现状况变化趋势谱等等有用情报资料。 --- ### 总结 综上所述,借助 Ambari 来运维维护大规模生产环境下运行着复杂任务负载情况下的 Flink 实例不失为明智之举。它不仅极大地降低了人工干预频率同时还提高了整体效率水平。当然,在正式投产前还需要经过充分测试确保各项参数设定合理准确方可投入使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值