hadoop exporter配置Prometheus & Grafana

背景

前段时间已经编译出来了hadoop exporter,详情点击:hadoop exporter编译，以为编译出来就万事大吉。
结果发现，网上还是没有说这个编译版本的监控配置，只能摸石头过河，继续搞搞。
本地虚拟机单机环境数据原因 ， 可能界面不是很好看，希望大家能多多包涵。下面分三大部分
Prometheus 配置，Grafana 配置以及最后给出Grafana 配置各个exporter json文件

Prometheus 配置

name_node

增加hadoop namenode jmx 端口:

cd $HADOOP_HOME/etc/hadoop
vi hdfs-site.xml

增加下面这段：

<property>
    <name>dfs.namenode.http-address</name>
    <value>master:50080</value>
</property>

重启hadoop

sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/start-dfs.sh
sbin/start-yarn.sh

启动namenode_exporter

cd /usr/local/go/workplace/src/hadoop_exporter-master/namenode
./namenode_exporter -namenode.jmx.url http://192.168.26.21:50080/jmx &

修改prometheus.yml

cd /usr/local/prometheus-2.54.1.linux-amd64
vi prometheus.yml

增加下面这段

  - job_name: hadoop-namenode
    static_configs:
      - targets: ["192.168.26.21:9070"]

prometheus.yml文件截图

prometheus刷新配置

curl -X POST http://192.168.26.21:9090/-/reload

在浏览器打开http://192.168.26.21:9090，看是否对接成功
打开后，点击status->targets菜单：

正常应该能看到hadoop-namenode (1/1 up),点击图中红框链接

出现一大堆指标，说明对接成功！

data_node

data_node和name_node非常类似，只是启动export及端口不同，下面简单列出不同地方
增加hadoop datanode jmx 端口，增加内容如下

<property>
  <name>dfs.datanode.http.address</name>
  <value>master:50075</value>
</property>

然后重启hadoop

启动datanode_exporter

cd /usr/local/go/workplace/src/hadoop_exporter-master/datanode
./datanode_exporter -datanode.jmx.url http://192.168.26.21:50075/jmx &

修改prometheus.yml
增加下面这段：

  - job_name: hadoop-datanode
    static_configs:
      - targets: ["192.168.26.21:9072"]

prometheus刷新配置
在浏览器打开http://192.168.26.21:9090，看是否对接成功

journalnode

增加hadoop journalnode jmx 端口，增加内容如下

<property>
  <name>dfs.journalnode.http-address</name>
  <value>master:8480</value>
</property>

然后重启hadoop

启动journalnode_exporter

./journalnode_exporter -journalnode.jmx.url http://192.168.26.21:8480/jmx &

修改prometheus.yml
增加下面这段：

  - job_name: journalnode
    static_configs:
      - targets: ["192.168.26.21:9071"]

prometheus刷新配置
在浏览器打开http://192.168.26.21:9090，看是否对接成功

Grafana 配置

前面已经配置完Prometheus，下面将配 Grafana</