Apache Hadoop YARN架构简介

Apache Hadoop YARN

YARN的基本理念是把 资源管理 和 任务 调度/监控 分离到单独的守护进程中。

在这个理念中，有一个全局的 ResourceManager (RM) 和 每个应用都有的 ApplicationMaster (AM)。

每个应用可以是一个 单独的任务，也可以是一个 有向无环图的 多个任务。

ResourceManager 和 NodeManager 组成了数据计算框架。ResourceManager 是为系统上所有的应用分配资源的最终的权威。NodeManager 是每台机器的框架代理，负责 containers，监控它们的资源使用（cpu、内存、硬盘、网络）以及 将这些信息 报告给 ResourceManager/Scheduler。

每个应用的 ApplicationMaster 实际上是一个 框架性的特定的程序，它的任务主要是 从 ResourceManager 处协调资源，以及与1个或多个 NodeManager 一起执行和监控具体的任务。

ResourceManager 有两个主要的组件：Scheduler 和 ApplicationsManager（注意，不是ApplicationMaster）。

Scheduler 负责给各种运行的应用分配资源，这会受到性能、队列等的常见熟悉的约束。Scheduler就是一个纯粹的

调度器，它不监听，跟踪应用的状态。

当然，它也不保证重启 失败的任务，无论是应用失败的还是硬件失败的。Scheduler 基于 应用的资源需求 来执行

调度的功能。

这基于一种称为 资源容器 的抽象理念，资源容器中 包含了如内存，cpu，硬盘，网络等概念。

Scheduler 有一个 插件式 的策略，负责在多样的队列策略，应用等之中划分 集群的资源。

当前的schedulers 诸如 CapacityScheduler 和  FairScheduler 就是一些插件的例子。

ApplicationsManager 负责 接收 提交的任务，协调第一个 container 去执行 特定应用的 ApplicationMaster ，为 ApplicationMaster container提供失败重启的服务。

每个应用的 ApplicationMaster 负责 从  Scheduler  协调恰当的 资源 containers，跟踪它们的状态，监控

它们的过程。

hadoop-2.x 版的 MapReduce 保留了 API 的 兼容性，它兼容(hadoop-1.x)的稳定版本。这就说所有的 MapReduce 任务不用做任何修改就可以在 YARN上运行。