64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群

关注

原创最新推荐文章于 2026-02-03 20:39:47 发布 2.1k 阅读 AI 写同款· GEO 优化 ›

大数据课程E8——Flume的Ganglia a. gmond(Ganglia Monitoring Daemon)是一个轻量级的服务，需要安装在每一条需要收集指标数据的主机上，使用gmond来收集系统指标数据，包含CPU，内存、磁盘、网络以及活跃的进程数量等。提供了WEB页面，在Web界面中以图表的形式来显式集群的运行状态下所收集的到的不同的指标数据。1. Ganglia是UC Berkeley发起的一个开源的集群监控项目，被设计用于测量数以千计的节点性能。#修改udp_send_channel中的属性。#修改data_souce属性的值，例如。阅读详情

64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群

参考：

https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/Ganglia

http://blog.youkuaiyun.com/iAm333/article/details/16358509

Ganglia是 UCBerkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个gmond 的守护进程用于收集和发送度量数据（如处理器速度、内存使用量等）。gmetad进程接收gmond进程收集的数据并通过php脚本动态的生成图表表示。gmond 带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会影响用户性能。

一、Ganglia组件

Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口。

Gmond :是一个守护进程，运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。如果他是一个发送者(mute=no)他会收集基本指标，比如系统负载（load_one）,CPU利用率。他同时也会发送用户通过添加C/Python模块来自定义的指标。如果他是一个接收者（deaf=no）他会聚合所有从别的主机上发来的指标，并把它们都保存在内存缓冲区中。

Gmetad:也是一个守护进程，他定期检查gmonds，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。他可以查询多个集群并聚合指标。他也被用于生成用户界面的web前端。

Ganglia-web:顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。集群是主机和度量数据的逻辑分组，比如数据库服务器，网页服务器，生产，测试，QA等，他们都是完全分开的，你需要为每个集群运行单独的gmond实例。

Ganglia工作流1如下图所示（（收集数据的每个节点有一个gmond，整个集群只有一个gmetad，且gmond都作为发送方）：

左边是运行在各个节点上的gmond进程，这个进程的配置只由节点上gmond.conf的文件决定。所以，在各个监视节点上都需要安装和配置该文件。

右上角是负责的中心机（通常是这个集群中的一台，也可以不是）。在这个台机器上运行这着gmetad进程，收集来自各个节点上的信息并存储在rrdtool上，该进程的配置只由gmetad.conf决定。　　

右下角显示了关于网页方面的一些信息。我们的浏览网站时调用php脚本，从RRDTool数据库中抓取信息，动态的生成各类图表。

Ganglia工作流2如下图所示（收集数据的每个节点有一个gmond，整个集群有不止一个gmetad，但一般需要有一个中央gmetad收集所有数据，用php脚本生成graph。其中gmond不都作为发送方，每个逻辑分组中可能有一个是接收方，用于接收其它gmond发送的数据存储在缓存中）

二、安装依赖

注：建议使用超级用户安装

1. yum install –y gcc gcc-c++ libpng freetype zlib libdbi apr* libxml2-devel pkg-config g pixman pango pango-devel freetye-devel fontconfig cairo cairo-devel libart_lgpl libart_lgpl-devel pcre* rrdtool*

三、安装expat依赖

1. wget http://jaist.dl.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz

2. tar -xf expat-2.1.0.tar.gz

3. cd expat-2.1.0

4. ./configure --prefix=/usr/local/expat

5. make

6. make install

对于64位操作系统，需要手动的拷贝下动态链接库到lib64下

1. mkdir /usr/local/expat/lib64

2. cp -a /usr/local/expat/lib/* /usr/local/expat/lib64/

四、安装confuse

1. wget http://ftp.twaren.net/Unix/NonGNU//confuse/confuse-2.7.tar.gz

2. tar -xf confuse-2.7.tar.gz

3. cd confuse-2.7

4. ./configure CFLAGS=-fPIC --disable-nls --prefix=/usr/local/confuse

5. make

6. make install

64bit机器需要拷贝动态链接库：

1. mkdir -p /usr/local/confuse/lib64

2. cp -a -f /usr/local/confuse/lib/* /usr/local/confuse/lib64/

五、安装ganglia到家目录

1. wget http://jaist.dl.sourceforge.net/project/ganglia/ganglia%20monitoring%20core/3.6.0ganglia-3.6.0.tar.gz

2. tar -xf ganglia-3.6.0.tar.gz

3. cd ganglia-3.6.0

4. ./configure --with-gmetad--enable-gexec --with-libconfuse=/usr/local/confuse --with-libexpat=/usr/local/expat--prefix=/home/username/tools/ganglia --sysconfdir=/home/username/tools/ganglia/etc

5. make

6. make install

六、服务端配置
选择76作为服务器端，创建rrdtool数据目录，看$ganglia-web中conf.php里面的gmetad_root变量，并根据apache的运行用户创建权限，例如apache运行于apache用户上。

1. sudo mkdir -p /var/lib/ganglia/rrds

2. sudo mkdir -p /var/lib/ganglia/dwoo

配置一个数据源，修改gmetad.conf(/home/zhangweitao/hive-common/ganglia/etc)文件，同时将运行用户设置为rrdtool的目录权限用户，例如apache用户

1. data_source "hadoop_username"10.3.1.76:8659 10.3.1.77:8659 10.3.1.78:8659 10.3.1.79:8659

2. setuid_username "root"

说明：这里的 "hadoop_username " 表示的是集群的名称，后面的内容是这个集群中所包含的主机信息，也就是要监控的主机ip。如果要添加监控的集群需要在此处加入新的data_source
添加自启动脚本

1. #cp -f ganglia/gmetad/gmetad.init /etc/init.d/gmetad

2. #cp -f $GANGLIA_HOME/sbin/gmetad /usr/sbin/gmetad

3. #chkconfig --add gmetad

启动gmetad服务

1. #service gmetad start

看见Starting GANGLIAgmetad: [ OK ]就代表运行正常了。通过telnet localhost 8651验证gmetad是否正常
七、客户端配置（gmond节点）
环境变量配置，在.bashrc文件中加入：

1. export GANGLIA_HOME=/home/username/tools/ganglia

2. exportPATH=$GANGLIA_HOME/bin/:$PATH

3. exportPATH=$GANGLIA_HOME/sbin/:$PATH

对于生成的默认配置文件需要做适当的修改

1. globals {

2. daemonize = yes

3. setuid = yes

4. user = username /*运行Ganglia的用户*/

5. debug_level = 0

6. max_udp_msg_len = 1472

7. mute = no

8. deaf = no

9. host_dmax = 120 /*secs */

10. cleanup_threshold = 300 /*secs */

11. gexec = no

12. send_metadata_interval = 15 /*发送数据的时间间隔*/

13. }

14.

15. cluster {

16. name = "hadoop_username" /*集群名称*/

17. owner = "username" /*运行Ganglia的用户*/

18. latlong = "unspecified"

19. url = "unspecified"

20. }

21.

22. udp_send_channel {

23. # mcast_join = 239.2.11.71 /*注释掉组播*/

24. host = 10.3.1.76/*发送给安装gmetad的机器*/

25. port = 8659

26. ttl = 1

27. }

28.

29. udp_recv_channel { #接受UDP包配置

30. # mcast_join = 239.2.11.71

31. port = 8659

32. # bind = 239.2.11.71

33. }

八、服务端的WEB配置
PHP程序需要依赖Apache来运行，因此需要安装如下依赖

1. # yum -y install php httpd

2. # service httpd start //启动httpd 服务

九、测试安装是否成功

1. # vi /var/www/html/index.php

输入：

1. <?php

2. phpinfo();

3. ?>

保存，然后浏览器 master/index.php
正常是看到php的信息。

1. #cd /home/ruifeng.shan

2. #wget http://jaist.dl.sourceforge.net/project/ganglia/ganglia-web/3.5.10/ganglia-web-3.5.10.tar.gz

3. #tar -xf ganglia-web-3.5.10.tar.gz

4. #cd ganglia-web-3.5.10

5. #make install

开启httpd服务

1. #service httpd restart

使用http://master/ganglia查看对应的ganglia信息。

十、hadoop配置

需要配置hadoop-2.2.0/etc/hadoop/目录下的hadoop-metrics.properties和hadoop-metrics2.properties文件。

其中，hadoop-metrics.properties配置如下（注意端口号的更改）：

1. #Configuration of the "dfs" context for null

2. dfs.class=org.apache.hadoop.metrics.spi.NullContext

4. #Configuration of the "dfs" context for file

5. #dfs.class=org.apache.hadoop.metrics.file.FileContext

6. #dfs.period=10

7. #dfs.fileName=/tmp/dfsmetrics.log

9. #Configuration of the "dfs" context for ganglia

10. # Pickone: Ganglia 3.0 (former) or Ganglia 3.1 (latter)

11. dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext

12. dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

13. dfs.period=10

14. dfs.servers=10.3.1.76:8659

15.

16. #Configuration of the "mapred" context for null

17. mapred.class=org.apache.hadoop.metrics.spi.NullContext

18.

19. #Configuration of the "mapred" context for file

20. #mapred.class=org.apache.hadoop.metrics.file.FileContext

21. #mapred.period=10

22. #mapred.fileName=/tmp/mrmetrics.log

23.

24. #Configuration of the "mapred" context for ganglia

25. # Pickone: Ganglia 3.0 (former) or Ganglia 3.1 (latter)

26. mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext

27. mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

28. mapred.period=10

29. mapred.servers=10.3.1.76:8659

30.

31. # Configurationof the "jvm" context for null

32. #jvm.class=org.apache.hadoop.metrics.spi.NullContext

33.

34. #Configuration of the "jvm" context for file

35. jvm.class=org.apache.hadoop.metrics.file.FileContext

36. jvm.period=10

37. jvm.fileName=/tmp/jvmmetrics.log

38.

39. #Configuration of the "jvm" context for ganglia

40. jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext

41. jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

42. jvm.period=10

43. jvm.servers=10.3.1.76:8659

44.

45. #Configuration of the "rpc" context for null

46. rpc.class=org.apache.hadoop.metrics.spi.NullContext

47.

48. #Configuration of the "rpc" context for file

49. rpc.class=org.apache.hadoop.metrics.file.FileContext

50. rpc.period=10

51. rpc.fileName=/tmp/rpcmetrics.log

52.

53. #Configuration of the "rpc" context for ganglia

54. rpc.class=org.apache.hadoop.metrics.ganglia.GangliaContext

55. rpc.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

56. rpc.period=10

57. rpc.servers=10.3.1.76:8659

58.

59.

60. #Configuration of the "ugi" context for null

61. ugi.class=org.apache.hadoop.metrics.spi.NullContext

62.

63. #Configuration of the "ugi" context for file

64. #ugi.class=org.apache.hadoop.metrics.file.FileContext

65. #ugi.period=10

66. #ugi.fileName=/tmp/ugimetrics.log

67.

68. #Configuration of the "ugi" context for ganglia

69. ugi.class=org.apache.hadoop.metrics.ganglia.GangliaContext

70. ugi.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

71. ugi.period=10

72. ugi.servers=10.3.1.76:8659

hadoop-metrics2.properties文件配置如下：

1. #*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink

2. #default sampling period, in seconds

3. #*.period=10

5. # Thenamenode-metrics.out will contain metrics from all context

6. #namenode.sink.file.filename=namenode-metrics.out

7. #Specifying a special sampling period for namenode:

8. #namenode.sink.*.period=8

10. #datanode.sink.file.filename=datanode-metrics.out

11.

12. # thefollowing example split metrics of different

13. #context to different sinks (in this case files)

14. #jobtracker.sink.file_jvm.context=jvm

15. #jobtracker.sink.file_jvm.filename=jobtracker-jvm-metrics.out

16. #jobtracker.sink.file_mapred.context=mapred

17. #jobtracker.sink.file_mapred.filename=jobtracker-mapred-metrics.out

18.

19. #tasktracker.sink.file.filename=tasktracker-metrics.out

20.

21. #maptask.sink.file.filename=maptask-metrics.out

22.

23. #reducetask.sink.file.filename=reducetask-metrics.out

24.

25. *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

26. *.sink.ganglia.period=10

27.

28. *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

29. *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

30.

31. namenode.sink.ganglia.servers=10.3.1.76:8659

32. resourcemanager.sink.ganglia.servers=10.3.1.76:8659

33.

34. datanode.sink.ganglia.servers=10.3.1.76:8659

35. nodemanager.sink.ganglia.servers=10.3.1.76:8659

36.

37. maptask.sink.ganglia.servers=10.3.1.76:8659

38. reducetask.sink.ganglia.servers=10.3.1.76:8659

十一、分发新的hadoop配置、bashrc和ganglia到集群节点

1. #!/bin/sh

2. #

3. scphadoop/etc/hadoop/hadoop-metrics.properties username@10.3.1.77:~/hadoop/etc/hadoop/

4. scphadoop/etc/hadoop/hadoop-metrics.properties username@10.3.1.78:~/hadoop/etc/hadoop/

5. scphadoop/etc/hadoop/hadoop-metrics.properties username@10.3.1.79:~/hadoop/etc/hadoop/

7. scphadoop/etc/hadoop/hadoop-metrics2.properties username@10.3.1.77:~/hadoop/etc/hadoop/

8. scphadoop/etc/hadoop/hadoop-metrics2.properties username@10.3.1.78:~/hadoop/etc/hadoop/

9. scphadoop/etc/hadoop/hadoop-metrics2.properties username@10.3.1.79:~/hadoop/etc/hadoop/

10.

11. ##restart hadoop

12. stop-all.sh> /dev/null 2>&1

13. start-all.sh> /dev/null 2>&1

14.

15. scp -rtools/ganglia username@10.3.1.77:~/tools

16. scp -rtools/ganglia username@10.3.1.78:~/tools

17. scp -rtools/ganglia username@10.3.1.79:~/tools

18.

19. scp.bashrc username@10.3.1.77:~/

20. scp.bashrc username@10.3.1.78:~/

21. scp.bashrc username@10.3.1.79:~/

22.

23. #gmond--debug=100 > /dev/null 2>&1

24. ps -ef|grep "username.*gmond$"|awk '{print $2}'|xargs kill -9

25. gmond

26. echo"gmond 76 started!"

27.

28. ssh username@10.3.1.77> /dev/null 2>&1 << eeooff

29. source~/.bashrc

30. ps -ef|grep "username.*gmond$"|awk '{print $2}'|xargs kill -9

31. #gmond--debug=100

32. gmond

33. exit

34. eeooff

35. echo"gmond 77 started!"

36.

37. ssh username@10.3.1.78> /dev/null 2>&1 << eeooff

38. source~/.bashrc

39. ps -ef|grep "username.*gmond$"|awk '{print $2}'|xargs kill -9

40. #gmond--debug=100

41. gmond

42. exit

43. eeooff

44. echo"gmond 78 started!"

45.

46. ssh username@10.3.1.79> /dev/null 2>&1 << eeooff

47. source~/.bashrc

48. ps -ef|grep "username.*gmond$"|awk '{print $2}'|xargs kill -9

49. #gmond--debug=100

50. gmond

51. exit

52. eeooff

53. echo"gmond 79 started!"

十二、查看监控结果

打开浏览器输入http://10.3.1.76/ganglia即可看到由PHP动态生成的监控状态图表：

收录于

云计算

标签

#ganglia-3.6.0 #hadoop-2.2.0 #集群监控 #centos

Hadoop监控之Ganglia整合 1 Ganglia基本原理在Hadoop产生之前就有Ganglia，他是为集群系统监控而生。Hadoop利用Ganglia的接口，从而实现了对Ganglia的兼容。1.1 gmond分布在各个节点上的监控进程，搜集本节点的监控信息。针对Hadoop监控，可以采用同样的协议向gmond服务发送Hadoop的监控信息。1.2 gmetad相当与集群中的中心节点，主动拉取各个节点上收集到的监控信息。可阅读详情

64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群

64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群

相关推荐