张普的专栏

转载：http://dongxicheng.org/mapreduce-nextgen/hadoop-distributedcache-details/      http://www.tuicool.com/articles/zErmAzF  HDFS提供了一个高效的缓存加速机制—— Centralized Cache Management ，可以将一些经常被读取的文件（例如

转载： 　https://www.iteblog.com/archives/1536.html本文将介绍Hadoop YARN提供的三种任务调度策略：FIFO Scheduler，Capacity Scheduler 和 Fair Scheduler。FIFO Scheduler　　顾名思义，这就是先进先出(first in, first out)调度策略，所有的applica

转载：     https://www.iteblog.com/archives/1945.html   http://www.tuicool.com/articles/Rf6v6j YARN集群的每个slave节点都运行了名为NodeManager的守护进程，而NodeManager进程的一个职责就是监控运行在那个几点上的YARN containers，其中就包括了监控每个容器的内存使用

很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导