Yarn学习（一）YARN的资源调度

正文

YARN

1、YARN概述（Yet Another Resource Negotiator）

YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

Yarn是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.x版本中重新设计的这个Yarn集群，具有更好的扩展性，可用性，可靠性，向后兼容性，以及能支持除MapReduce以外的更多分布式计算程序。

    （1）Yarn并不清楚用户提交的程序的运行机制

    （2）Yarn只提供运算资源的调度（用户程序向Yarn申请资源，Yarn就负责分配资源）

    （3）Yarn中的主管角色叫 ResourceManager

    （4）Yarn中具体提供运算资源的角色叫 NodeManager

    （5）这样一来，Yarn其实就与运行的用户程序完全解耦，就意味着Yarn上可以运行各种类型的分布式运算程序（MapReduce只是其中一种）比如 MapReduce、Storm程序，Spark程序，TEZ .......

    （6）所以，Spark、Storm等运算框架都可以整合在Yarn上运行，只要它们各自的框架中有符合Yarn规范的资源请求机制即可。

    （7）Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个屋里集群上，提高资源利用率，方便数据共享。

2、原 MapReduce 框架的不足

（1）JobTracker 是集群事物的几种处理点，存在单点故障

（2）JobTracker 需要完成的任务太多，既要维护 job 的状