浅谈yarn的运行原理

1、yarn的诞生

在1.0版本之前没有yarn的，在2.0版本之后诞生了yarn，当然，每个系统的诞生都是人类有一定的需求诞生的。在2.0版本之前，hadoop集群只有HDFS和MapReduce，2.0版本之后才有的yarn（Yet Another Resource Negotiator，分布式资源管理器）。

首先，1.0版本，人们遇到的最大的问题就是资源管理。随着技术的发展，人们已经不再满足只有MapRduce一个计算框架，所以诞生了其他计算框架（例如：spark，Mars等一系列计算框架）。
所以人们更希望有一套合理的资源管理机制，随之而来，就是yarn的诞生，它替我们管理了整个整个hadoop集群的拓扑，协调了hadoop和各个基层框架的关系。
在hadoop中启动yarn的命令是. /start-yarn. sh
启动hdfs，hdfs查看jps进程：NameNode（名称节点 老大 接收读和写的请求），DataNode（数据节点 小弟），SecondaryNameNode（第二名称节点 老二 定时备份老大，老大嗝屁了，可以定时恢复老大数据）。

启动yarn查看jps进程会多ResouceManager（全局资源管理器），NodeManager（节点资源任务管理器）我们可以理解成RM+NM是yarn。

2、yarn的一个基本架构

yarn在总体设计思想设和HDFS差不多，都是做主从关系（Master/Slave）

HDFS中，NameNode时主节点,DataNode是从节点，在Yarn中RM是主节点，NM是从节点，主节点更重要。

3、详系讲解RM的组成部分

RM有两个组成部分：（Hadoop权威指南）
1、调度器 Resource Scheduler
2、应用程序管理器 Application Manager

1、Application Manager 应用程序管理器(AM)

AM主要是负责接收client传输的job请求，为应用（MapReducer程序）分配第一个Container（资源池）来运行我们第一个Application Master（另外一个小管家）,还有就是负责监控Application Master，并且在遇到失败的时候重启Application Master。
2、Scheduler 调度器
这个调度器，简单来说就是为了让我们每一个节点都充分利用起来，合理分配和调度的一种管理器。
值得注意的是，调度器真的是一个纯调度器，它不负责从事任何具体和应用程序相关的工作。比如，运行map任务或者reducer任务，不是它的活，监控程序，跟踪程序都不是他的活。
调度器分为三种：
1、容量调度器，
2、公平调度器
3、队列调度器
3、Application Master(AM)
当我们正常提交mapreduce任务时，例如：Hadoop xxx.jar命令，我们在后台jps查看一下进程时候，会多一个MRAppMaster的进程，ApplicationMaster
首先ApplicationMaster 其实就是一个java程序，只不过他的类名：MRAppMaster所以进程名叫作：MRAppMaster
ApplicationMaster负责监控MAP任务和Reduce任务，用户提交的每一个程序（mapreduce）都会产生一个AM，这个AM就是负责一个任务的管理者。
ApplicationMaster主要功能：
1、ApplicationMaster向调度器请求资源NodeManager才可以开辟map和reduce（获取执行资源）
2、NodeManager通信，以启动任务或停止任务，其中涉及到了一个东西，资源池（Contaniner）
3、所有其下的任务执行状态（map，reducer），如果失败，则会重新启动任务来申请资源

4、Contaniner

Contaniner是Yarn中的资源抽象，它封装了某个节点的多难度资源，如：CPU,磁盘，网络，IO
例：虚拟机

资源池：主要是将节点的资源切分出来组成一个可以单独运行任务（map，reduce）的容量，用来运行人无，这里的任务也就是我们的map任务，或者reduce任务
到这里，yarn的所有组成部分就都说完了

yarn的提交过程