Apache Hadoop NextGen MapReduce (YARN)

原文

http://hadoop.apache.org/docs/r2.5.1/hadoop-yarn/hadoop-yarn-site/YARN.html

Mapreduce 在hadoop-0.23经历了一个巨大的变化，也就是mapreduce2.0或者是YARN.

YARN的基础思想是把mapreduce1中的JobTracker的两个主要功能resourcemanagement和scheduling/monitoring分成了两个单独的守护进程。这种思想包括一个全局的ResourceManager和一些ApplicationMaster（每个application一个）。其中一个Application可以是一个传统意义上的单一的job或者是一个DAG jobs。

该框架包含ResourceManager和NodeManager。ResourceManager负责协调所有Application用到的所有资源。

ApplicationMaster负责和ResourceManager协调，并在NodeManager上执行和监视task。

ResourceManager 有两个主要的组件：Scheduler和 ApplicationManager。

Scheduler负责资源的调度。Scheduler是纯种意义的的调度器，也就是说他不监视和跟踪application的状态。并且他不提供任务重启的功能（由于Application失败、硬件错误操作的失败）。他是基于资源池进行调度的，资源包括内存，cup，硬盘，网络。但是现在只支持内存调度。Scheduler以一种可插拔的机制来运行，比如说现在mapreduce提供的两种插件CapacityScheduler 和FairScheduler 。

CapacityScheduler 支持分层级的队列（hierarchicalqueues ）可以允许更多的可以预测的集群资源的共享。

                     

NodeManager 运行在每个机器上，他负责监视资源池（containers）中的cup，内存，硬盘，网络并把这些信息报告到ResourceManager/Scheduler.

 

YARN具备向前版本兼容的能力。这意味着之前的map-reduce任务可以不加修改的运作在YARN。