hadoop的作业提交过程之yarn

作业提交过程简单的分为 6 步
（1）作业提交
   第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业
   第1步：client向RM(ResourceManager)申请(application)一个作业id
   第2步：RM给client返回该job的资源的提交路径和作业id。
   第3步：client提交jar包、切片信息和配置文件到指定的资源提交路径(job运行所需的资源)。
   第4步：client提交完资源后，向RM申请运行MRAPPMaster（MrAppMaster）。
（2）作业初始化
   第5步：当RM收到client的请求后，将该job添加到容量调度器（capacity scheduler）中。(RM将用户的请求初始化为一个task（作业）)
   第6步：某一个空闲的NM（nodeManager）领取到该job。
   第7步：该NM创建Container，并产生MRAppMaster (MrAppMaster)。
   第8步：下载client提交的资源到本地。
（3）任务分配
   第9步：MRAppMaster向RM申请多个maptask任务资源。
   第10步：RM将运行maptask任务分配给另外两个NodeManager，两个NodeManager分别领取任务并创建容器
（4）任务运行
   第11步：MRAppMaster向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
   第12步：MRAppMaster等待所有的maptask运行完毕后，向RM申请容器，运行reduce task
   第13步：reduce task向maptask获取相应分区数据。
   第14步：程序运行完毕后，MRAppMaster会向RM申请注销自己。
（5）进度和状态更新
   YARN中的任务将其进度包括状态（包括counter）返回给应用管理器，客户端每秒（通过mapreduce.client.programpollinterval设置）向应用管理器请求进度更新，展示给用户。
（6）作业完成
   除了向应用管理器请求作业进度外，客户端每5分钟都会通过调用waitForcompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后，应用管理器和container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查