滴水穿石

利用ganglia 监控集群状态为调优提供依据            单位同事在对hadoop集群调优的时候,大多数看中的是个体.看中的是本段代码的执行情况.而很少从整集群的资源利用方面考虑. 本文提供一种方法在对hadoop调优的时候从整个资源利用方面入手进行调优.           mapred.tasktracker.map.tasks.maximum  (最大的map数量)

主机IP地址为192.168.138.22 主机操作系统版本:(选择基本安装) [root@localhost rpm-gpg]# lsb_release  -a LSB Version:    :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-

1. 找到hadoop-2.0.0-mr1-cdh4.2.1/conf 目录下面的 hadoop-metrics.properties 文件 2. 去掉其中发送到ganglia的metrics的注释例如 # Configuration of the "mapred" context for null 不发送 #mapred.class=org.apache.hadoop.metric