1.客户端向resourcemanager提交job请求,申请资源
2.resourcemanager向客户端返回一个 job_id以及共享资源路径hdfs/tmp
3.客户端将共享资源放在共享资源路径下
4.客户端向resourcemanager返回共享资源放置成功的响应,真正开始提交一样程序
5.resourcemanager向客户端返回一个节点,运行mrappmaster nodemanager02
6.resourcemanager到对应节点启动mrappmaster,先启动container,在启动mrappmaster
7.mrappmaster会将job进行初始化,生产application_id,并生成当前job的工作簿,记录maptask|reducetask的进度和状态
8.mrappmaster到共享资源下,下载共享资源到本地
9.mrappmaster向resourcemanager申请maptask|reducetask的运行资源,maptask优先
10.resourcemanager向mrappmaster返回对应的资源节点:
maptask:数据本地化 01节点
reducetask:随机 03 节点
11.mrappmaster到对应的节点启动maptask(先启动container)
12.maptask会到共享资源路径下,下载共享资源
13.开始运行maptask任务
14.maptask在夜宵过程中会向mrappmaster汇报自己的进度和状态
15.当mrappmaster获取到一个节点上的所有的maptask任务执行完成的信息时,启动reducetask
16.mrappmaster到对应节点启动:container启动
reducetask fetch
17.reducetask到共享资源路径下下载共享资源
18.所有的maptask执行完成,fetch完成,reducetask执行
19.reducetask运行期间会向mrappmaster汇报自己的状态和进度
20.当maptask,reducetask 运行完成:mrappmaster到对应节点进行资源回收,并向resourcemanager注销自己,释放资源
job提交文字叙述
最新推荐文章于 2021-11-19 19:55:08 发布