Centos6.3下安装Ganglia监控hadoop

最新推荐文章于 2025-05-07 15:56:09 发布

原创最新推荐文章于 2025-05-07 15:56:09 发布 · 259 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop监控 #Ganglia监控

本文详细介绍了如何在主节点和从节点上部署Ganglia监控系统，包括安装依赖包、配置gmetad和gmond服务、修改hosts文件、设置防火墙和SELinux策略等步骤。同时提供了常见问题解决方案，如禁止访问、数据收集失败和连接拒绝等问题的处理方法。

安装yum EPEL源

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

准备工作，安装apr-1-config，libconfuse 以及libpcre包

#yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

主节点(lboenMasterTest)

安装ganglia-gmetad 和 ganglia-web

#yum search ganglia 	------------------查看ganglia在epel的安装包,复制进行安装
#yum -y install ganglia-web.i686 ganglia-gmond-3.1.7-6.el6.i686

#yum -y install ganglia-gmetad.i686 ----------------------(如果上一步执行了这步不用执行,web包会自动下载该依赖)

#rpm -qa |grep ganglia			--------------------查看安装情况

# rpm -ql ganglia-gmetad-3.1.7-6.el6.i686     	------------- 复制上面命令执行结果的安装名,可查看安装路径

配置gmetad

# vi /etc/ganglia/gmetad.conf
data_source "Hadoop" localhost lboenSlaveTest-1  ---- Hadoop为cluster名称,后面是需要监控的主机名

修改apache设置

# vi /etc/httpd/conf.d/ganglia.conf
文件内容Deny from all 为 allow from all

设置启动

# chkconfig --add gmetad
# chkconfig --add gmond
# chkconfig --add httpd

配置hosts

# vi /etc/hosts

192.168.103.42 lboenSlaveTest-1

127.0.0.1 lboenMasterTest

打开端口/关闭防火墙

# /etc/init.d/iptables stop -------------------关闭防火墙,用于测试时,线上最好用打开端口方式

关闭SELinux

1 永久方法 – 需要重启服务器

修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

2 临时方法 – 设置系统参数

使用命令setenforce 0

附：

setenforce 1 设置SELinux 成为enforcing模式

setenforce 0 设置SELinux 成为permissive模式

监控节点(lboenSlaveTest-1)

安装ganglia-gmond

#yum search ganglia
#yum install ganglia-gmond-3.1.7-6.el6.i686

配置gmond

#vi /etc/ganglia/gmond.conf

cluster {
  name = "Hadoop"------ cluster名称,是你在gmetad.conf里配置的data_source名称
  owner = "unspecified"
  latlong = "unspecified"
  url = "unspecified"
}

udp_send_channel {
  #mcast_join = 239.2.11.71 ----- 组播
  host = 192.168.103.22 -------------- 单播 gmeta主机的ip/主机名lboenMasterTest
  port = 8649
  ttl = 1
}

udp_recv_channel {
  #mcast_join = 239.2.11.71
  port = 8649
  bind = 192.168.103.42 ------------- 本机的ip/hostname
}

配置启动

# chkconfig –add gmond

# chkconfig –list gmond

此时，如果正确安装，会出现gmond 0:off 1:off 2:off 3:off 4:off 5:off 6:off

配置hosts

# vi /etc/hosts

192.168.103.22 lboenMasterTest

127.0.0.1 lboenSlaveTest-1