YARN资源调度

YARN架构

YARN的核心功能是集群资源管理以及应用的调度监控，应用可以是任何类型的，如MapReduce、Spark或Tez程序。用户大多时候不需要直接与YARN进行交互，而只需要调用应用的接口完成特定任务，例如用户直接提交MapReduce程序，而MapReduce计算框架会进一步与YARN做交互，但这些资源管理细节已经对用户透明。

首先需要理解应用（application）、作业（job）和任务（task）的关系。Hadoop集群中运行着用户的应用，应用可以是一个作业，也可以是一系列作业。由于Hadoop采用主从架构，一个作业包含了若干并行化的任务，分配到不同节点执行。例如，一个在Spark中执行的k均值聚类算法是一个应用，由于该算法需要遍历数据多次，每一次迭代都是一个作业，而每一个作业又包含多个并行化的任务在不同节点执行。

与HDFS类似，YARN同样采用主从架构，由一个资源管理器（ResourceManager）和多个节点管理器（NodeManager）组成。资源管理器用于裁决集群中所有应用能够使用的资源。节点管理器用于监控它们所运行的节点中容器（container）的资源使用情况，包括CPU、内存、磁盘和网络带宽，并上报给资源管理器。

每个应用都有一个应用主程序（ApplicationMaster），用于与资源管理器协商资源，并与节点管理器协作执行和监控具体任务。具体的任务都在容器中执行，每个容器对应一定的资源（CPU和内存）。

应用提交和执行的流程如下图所示。主节点n0运行资源管理器，从节点n1、n2和n3运行节点管理器，节点管理器会定期向资源管理器上报节点的资源状态。首先，客户端向资源管理器提交应用，资源管理器会选择一个从节点为启动一个应用主程序。应用主程序根据应用运行状况，可以动态的向资源管理器申请资源，资源以容器的形式进行分配，任务最终会在多个容器中并行执行，容器会定期向应用主程序上报任务执行状态。

资源管理器主要由2部分组成，

调度器（Scheduler）：用于根据排队策略和资源的限制，将资源分配给集群上运行的多个应用。这里的调度器只负责作业调度，并不负责监控应用执行状态，也不会重启因硬件故障或应用失败所导致的失败任务。调度器调度作业时，以容器为基本单位，每个容器可以对应不同的CPU、内存、地盘和网络带宽。
应用管理器（ApplicationManager）：用于接受作业提交，协商第一个容器用作应用主程序，并在发生故障时重启应用主程序。与具体应用相关的管理工作都交给应用主程序，如与调度器协商容器资源、监控状态和进度等等。

YARN调度策略