YARN的概述

        为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架 YARN

        Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源 管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序

        yarn被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通 ⽤性，同样可以⽀持其他的分布式计算模式，⽐如Spark，Tez等计算框架。

注意：还有⼀层应⽤是运⾏在MapReduce，Spark或者Tez之上的处理框架，如 Pig,Hive和Crunch等。

YARN的设计思想

        yarn的基本思想是将资源管理和作业调度/监视功能划分为单独的守护进程。其思想是拥有⼀个全局ResourceManager (RM)，以及每个应⽤程序拥有⼀个ApplicationMaster (AM)。应⽤程序可以是单个作业，也可以是⼀组作业

YARN基本架构

         YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。

ResourceManager，是在系统中的所有应⽤程序之间仲裁资源的最终权威，即管理整个集群上的所有资源分配,内部含有⼀个Scheduler(资源调度器)

NodeManager，是每台机器的资源管理器，也就是单个节点的管理者，负责启动和监视容器(container)资源使⽤情况，并向ResourceManager及其 Scheduler报告使⽤ 情况

container:即集群上的可使⽤资源，包含cpu、内存、磁盘、⽹络等

ApplicationMaster（简称AM）实际上是框架的特定的库，每启动⼀个应⽤程序，都会启动⼀个AM，它的任务是与ResourceManager协商资源，并与NodeManager⼀起执 ⾏和监视任务

YARN与MapReduce1的⽐较