j2eelamp的专栏

Apache Ambari Hadoop管理

Server端： yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php Client端： yum install ganglia-gmond 创建RRD目录 mkdir -p /var/lib/ganglia/rrds chown ganglia:ganglia /var/lib/g

Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中 集中式缓存管理有着许多显著的优势： 防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理，applications在做任务安排时可以查询这个缓存的列表，

一、概述： Yarn调度器有许多实现，如Fifo, Capacity和Fair schedulers等。与其同时，正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性，调度决策受许多因素影响，如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前，评估一个调度算法是非常重要的，不幸的是，评估一个调度算法是不那么容易的，评估一个真正的集群是非常耗

Hadoop从2.4.0版本开始支持hdfs的ACL，在CDH5.0当中也继承了该特性，下面对其进行一些测试： 一、启用ACL： dfs.permissions.enabled true dfs.namenode.acls.enabled true 二、测试ACL： ① [hadoop@master ~]$ groups hadoop 创建目录并上传文件： [