MapReduce在YARN上的运行流程

1.客户端提交mr程序job的流程

1. 客户端提交job后（job.submit()），Yarn的ResourceManager会返回本次所提交的job的提交路径（hdfs://xxx../staging）和jobid，然后拼接为一个job的资源提交路径 （hdfs://…./staging/jobid）

2. 然后会将
   1）job的切片规划（调用FileInputFormat.getSplits()获取切片规划List）序列化成的文件job.split
   2）job.xml文件（job的相关参数）
   3）job的jar包
   拷贝到刚才拼接成的资源提交路径

3. 流程图解
   

---

2.mr程序在YARN上的工作机制

1. 客户端提交job后，通过客户端所在节点的YRANRUNNER向resource manager（之后简称rm）申请提交一个application

2. rm会返回任务的资源提交路径hdfs://xxx…/..和application_id

3. 客户端所在节点的YRANRUNNER提交job运行所需要的资源（job.split、job.xml、job.jar）到前面提到的拼接的资源提交路径，资源提交完毕后申请运行mrAppMaster，先挑一台node manager创建容器（cpu+ram）运行mrAppMaster

4. rm将用户的请求封装成一个个的job，放入队列