arctic_ocean的专栏

背景：之所以想确认这个数据，是因为在hadoop的集群系统中，发现各个节点的CPU使用率都不高，并且查看整个集群并发的map和reduce数，都只有6（三台hadoop机器）分析：为了查清楚，为什么tasktracker都只启动了两个map任务和两个reduce任务，查看了hadoop的相关配置说明。具体细节如下： hadoop可以配置每个TaskTracker启动的map和...

1.       Hadoop是如何判断集群内存储是否均衡的？   1）  获取集群平均使用率-各个节点使用率的平均值 例如，A、B、C三台机器的DFS Used%依次为0.1%, 0.01%, 13.1%，则平均使用率为(0.1%+0.01%+13.1%)/3 = 4.4%   2）  判断节点的使用率与集群平均使用率之间的差值是否在容许范围内，都在范围...