分布式资源管理与任务调度框架Yarn

1.概念说明

• Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）
• 一种新的Hadoop资源管理器，一个通用资源管理系统
• 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率

2.特点特征

• 资源管理与计算框架解耦设计，一个集群资源共享给上层各个计算框架，按需分配，大幅度提高资源利用率
• 运维成本显著下降，只需运维一个集群，同时运行满足多种业务需求的计算框架
• 集群内数据共享一致，数据不再需要集群间拷贝转移，达到共享互用
• 避免单点故障、集群资源扩展得到合理解决

3.应用场景

需要统一资源管理和任务调度的平台均可以使用，已成为大数据集群的必备组件之一。

代码实现

Yarn的架构设计

Yarn设计的核心思想是将JobTracker的两个主要职责：资源管理和任务调度管理，分别交给两个角色负责。

一个是全局的ResourceManager，一个是每个应用中唯一的ApplicationMaster。

ResourceManager以及每个节点一个的NodeManager构成了新的通用系统，实现以分布式方式管理应用。

Yran仍采用主从式架构设计Master/Slave结构,ResourceManager为Master,NodeManager为Slave

概略介绍

• Master/Slave结构，1个ResourceManager和多个NodeManager
• Yarn由Client、ResourceManager、NodeManager、ApplicationMaster组成
• Client向ResourceManager提交启动任务、杀死任务等命令请求
• ApplicationMaster由对应的计算框架编写的应用程序完成。每个应用程序对应一个ApplicationMaster，ApplicationMaster向ResourceManager申请资源用于在NodeManager上启动相应的Task
• NodeManager向ResourceManager通过心跳信息汇报NodeManager监控状况、任务执行状况、领取任务等

Client: 客户端,作为用户编程的接口,与ResourceManager交互

ResourceManger: 整个集群只有一个是正在运行的,负责整个集群资源的统一管理和调度

• 负责整个集群的资源分配和调度
• 处理来自客户端的请求，启动、杀死应用程序
• 启动、监控ApplicationMaster，一旦一个AM挂了之后，RM将会在另一个NodeManager上启动该AM
• 监控NodeManager，接收NM的心跳汇报信息，获取NM的资源使用情况和Container运行状态

NodeManger: 整个集群中存在很多个,负责单节点资源管理和使用

• 负责单个节点上的资源管理和任务调度
• 处理来自ApplicationMaster的命令
• 接收并处理来自ResourceManager的Container启动、停止的各种命令，主要是对ApplicationMaster相关的操作。
• 周期性向ResourceManager汇报本节点上的资源使用情况和Container的运行状态

ApplicationMaster:每个程序特有,负责程序的管理

• 数据切分
• 为应用程序/作业向ResourceManager申请资源(Container)，并分配给内部任务
• 与NodeManager通信以启动、停止任务
• 任务监控和容错(在任务执行失败时重新为该任务申请资源以重启任务)
• 处理ResourceManager发来的命令，让NodeManager重启任务、杀死Container等

Container:对任务运行环境的抽象

• 任务运行资源的抽象，封装了某个节点上的多维度资源，如内存、cpu、磁盘、网络等
• 任务命令启动、停止的执行单元
• 任务运行环境，任务运行在Container中，一个Container中既可以运行ApplicationMaster也可以运行具体的MapReduce、MPI、Spark等任务

运行流程详解：

    1) 用户向YARN中提交应用程序/作业，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

    2) ResourceManager为作业分配第一个Container，并与对应的NodeManager通信，要求它在这个Container中启动该作业的ApplicationMaster。

    3) NodeManager启动一个Container运行ApplicationMaster。

    4) ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查询该作业的运行状态；然后它将为各个任务申请资源并监控任务的运行状态。

    如果Container没有完全申请到位，则会先使用已经分配到位的部分Container资源进行后续的第5、6、7步骤，其余Container部分由ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源，直到全部资源分配到位。

    5) 一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。

    6) NodeManager执行ApplicationMaster发送的命令，启动Container任务。

    7)各个Container通过RPC向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。

    在作业运行过程中，用户可以随时通过RPC向ApplicationMaster查询作业当前运行状态。

    8) 作业完成后，ApplicationMaster向ResourceManager申请注销并关闭自己。