hadoop集群配置Ganglia监控

根据网友的介绍，简单配置了一个集群，用作记录

我的集群

hadoop1            192.168.1.151              gmetad 和 gmond

hadoop2            192.168.1.152              gmond

hadoop3            192.168.1.153              gmond

hadoop4            192.168.1.154              gmond

hadoop1 监控4台虚拟机

1.先配置下 yum 源，一些 yum 源没有 ganglia 所需要的包，妥妥滴要 EPEL

rpm -Uvhhttp://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

2.安装 ganglia 所需要的包

         ganglia 服务器

         yum install rrdtool ganglia-gmetad ganglia-gmond ganglia-web httpd php

        注意：这里因为有依赖关系，最好不安装 ganglia-gmetad，因为安装 ganglia-web 会自动安装，如果出错，请看错去列表

         ganglia 客户端

         yum install ganglia-gmond

3.安装好了就是配置，我列出我的配置，参考下

        Ganglia 服务器

        # gedit /etc/ganglia/gmetad.conf  

        data_source "hadoopcluster" hadoop1  hadoop2  hadoop3  hadoop4

        ---- hadoopcluster为cluster名称,后面是需要监控的主机

        # gedit /etc/httpd/conf.d/ganglia.conf  

        主要是修改  Deny  from  all  为  Allow  from  all

         Ganglia 客户端

 这个文件  四个  gmond 结点 都一样 简单暴力       

#vi /etc/ganglia/gmond.conf 

cluster {  

         name = "hadoopcluster"------ cluster名称,是你在gmetad.conf里配置的data_source名称  

         owner = "unspecified"  

         latlong = "unspecified" 

url = "unspecified"  

}  

  udp_send_channel {  

        #mcast_join = 239.2.11.71 ----- 组播  

        host = 192.168.1.151 -------------- 单播  指定 gmetad 主机

        port = 8649  

        ttl = 1  

}  

  

udp_recv_channel {  

        #mcast_join = 239.2.11.71  

        port = 8649  

bind = 192.168.1.151 ------------- 指定 gmond 主机， 注意：这点在不同的 gmond 结点上不一样，对应各自的IP

}  

4.最好把 selinux 关闭，实际工作中感觉还是不要这样的好，开放 端口即可

            gedit  /etc/selinux/config

            SELINUX=disabled

    四个结点都搞一遍，全部重启

5.启动服务  

  root @ hadoop1 #  service gmetad start

  root @ hadoop1 #  service gmond start

  root @ hadoop1 #  service httpd start

service gmetad status  没个都看一遍有没有启动

其他 gmond 结点  启动  gmond 即可

6.访问   hadoop1/ganglia  ,看看页面可不可以出来，如图

7.错误列表，鉴于运气好，错误几乎没有，等慢慢的记录吧

（1）There was an error collecting ganglia data (127.0.0.1:8652):fsockopen error: Connection refused 解决办法

         卸载yum remove ganglia-web ganglia-gmetad

         重新安装yum install ganglia-web    ----- ganglia-web本身有引用gmetad，这里就不需要安装ganglia-gmetad了，不过卸载了重装，当然要重新配置

         启动两个进程即可

下面是Ganglia-3.6.0的安装配置

参考  http://www.linuxidc.com/Linux/2014-01/95804p2.htm

由于安装好HTTPD后 /etc /httpd /conf /http.conf 默认的用户用户组都是  apache 这点要注意，在gmetad 中设置  setuid_username "apache"  gmond中也设置user 为 apache   ，/var/lib/ganglia/rrd 的用户用户组都为apache

Of course, If you change user or group in /etc/httpd/conf/http.conf ,You should modify other configures too.I use yum to install my httpd,if you use the file of tar.gz to install by youself,you can customize you path to save http.conf