Yarn

一.Hadoop1.x 和 Hadoop2.x 架构区别

       在 Hadoop1.x 时代，Hadoop 中的 MapReduce 同时处理业务逻辑运算和资源的调度，耦合性较大。

       在 Hadoop2.x 时代，增加了 Yarn。Yarn 只负责资源的调度，MapReduce 只负责运算。

二.Yarn 概述

       Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

三.Yarn 基本架构

       YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

1）ResourceManager  (RM)

      (1) 处理客户端请求

      (2) 监控NodeManager

      (3) 启动或监控ApplicationMaster

      (4) 资源的分配与调度

2）NodeManager  (NM)

   （1）管理单个节点上的资源
   （2）处理来自ResourceManager的命令
   （3）处理来自ApplicationMaster的命令

3）ApplicationMaster（AM）

    （1）负责数据的切分
    （2）为应用程序申请资源并分配给内部的任务

    （3）任务的监控与容错

4）Container

      Container是YARN中 的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

 

三.Yarn 工作机制

（0）MapReduce 程序提交到客户端所在的节点。
（1）Yarnrunner 向 Resourcemanager 申请一个 Application。
（2）Resourcemanager 将该应用程序的资源路径返回给 yarnrunner。
（3）该程序将运行所需资源提交到 HDFS 上。
（4）程序资源提交完毕后，申请运行 MRAppMaster。
（5）Resourcemanager 将用户的请求初始化成一个 task。
（6）其中一个 NodeManager 领取到 task 任务。
（7）该 NodeManager 创建容器 Container，并产生 MRAppmaster。
（8）Container 从 HDFS 上拷贝资源到本地。
（9）MRAppmaster 向 Resourcemanager 申请运行 maptask 资源。
（10）Resourcemanager 将运行 maptask 任务分配给另外两个 NodeManager，另两个 NodeManager 分别领取任务并创建容器。
（11）MRAppMaster 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager分别启动 maptask，maptask 对数据分区排序。
（12）MrAppMaster 等待所有 maptask 运行完毕后，向 Resourcemanager申请容器，运行 reduce task。
（13）reduce task 向 maptask 获取相应分区的数据。
（14）程序运行完毕后，MRAppMaster 会向 Resourcemanager 申请注销自己。

 

四. 资源调度器

        目前，Hadoop 作业调度器主要有三种：FIFO、Capacity Scheduler 和 Fair Scheduler。Hadoop2.7.2 默认的资源调度器是 Capacity Scheduler。

1）先进先出调度器（FIFO）

     按照到达时间排序，先到先服务

2）容量调度器（Capacity Scheduler）

      1 支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
      2 为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
      3 首先，计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列。
      4 其次，按照作业优先级和提交时间顺序，同时考虑用户资源量限制和内存限制对队列内任务排序。

      5 三个队列同时按照任务的先后顺序依次执行，比如，job11、job21和job31分别排在队列最前面，是最先运行，也是同时运
行。

3）公平调度器（Fair Scheduler）

      支持多队列多用户，每个队列中的资源量可以配置，同一队列中的作业公平共享队列中所有资源。

      比如有三个队列：queueA、queueB和queueC，每个队列中的job按照优先级分配资源，优先级越高分配的资源越多，但是每个 job 都会分配到资源以确保公平。在资源有限的情况下，每个job理想情况下获得的计算资源与实际获得的计算资源存在一种差距，这个差距就叫做缺额。在同一个队列中，job的资源缺额越大，越先获得资源优先执行。作业是按照缺额的高低来先后执行的，而且可以看到上图有多个作业同时运行。