部署Promethuse监控Hadoop节点

目标

Hadoop本身是对相当数量的指标（metrics）进行实时监控的。但是Hadoop本身并不提供方便快捷的方式进行实时查询。如果你和我一样想要实时监测Hadoop节点的相关指标（比如namenode和datanode的性能），那么本文档可能会适合你。
前提条件，你已经部署好了一个HDFS集群。

安装

在官网上下载最近稳定发行版本并解压

wget https://github.com/prometheus/prometheus/releases/download/v2.46.0/prometheus-2.46.0.linux-amd64.tar.gz
tar -zxvf prometheus-2.46.0.linux-amd64.tar.gz 
mv prometheus-2.46.0.linux-amd64 prometheus

进入目录下，查看默认的配置文件promethues.yml

promethues自己会监控自己的一些指标，我们可以直接执行./promthues启动，然后在web查看9090端口

将hadoop的jmx信息采集到指定端口

我们发现promethues只能处理KV形式的metrics，所以如果我们想要监控Hadoop的性能，必须对Hadoop的指标监控进行预处理。已经存在开源工具帮助我们做这一步，笔者本文使用的是JMX Exporter，但是刚发现了更契合的工具hadoop_exporter，感兴趣的自行搜索。
下载JMX Exporter

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prom