job提交文字叙述

1.客户端向resourcemanager提交job请求,申请资源
2.resourcemanager向客户端返回一个 job_id以及共享资源路径hdfs/tmp
3.客户端将共享资源放在共享资源路径下
4.客户端向resourcemanager返回共享资源放置成功的响应,真正开始提交一样程序
5.resourcemanager向客户端返回一个节点,运行mrappmaster nodemanager02
6.resourcemanager到对应节点启动mrappmaster,先启动container,在启动mrappmaster
7.mrappmaster会将job进行初始化,生产application_id,并生成当前job的工作簿,记录maptask|reducetask的进度和状态
8.mrappmaster到共享资源下,下载共享资源到本地
9.mrappmaster向resourcemanager申请maptask|reducetask的运行资源,maptask优先
10.resourcemanager向mrappmaster返回对应的资源节点:
maptask:数据本地化 01节点
reducetask:随机 03 节点
11.mrappmaster到对应的节点启动maptask(先启动container)
12.maptask会到共享资源路径下,下载共享资源
13.开始运行maptask任务
14.maptask在夜宵过程中会向mrappmaster汇报自己的进度和状态
15.当mrappmaster获取到一个节点上的所有的maptask任务执行完成的信息时,启动reducetask
16.mrappmaster到对应节点启动:container启动
reducetask fetch
17.reducetask到共享资源路径下下载共享资源
18.所有的maptask执行完成,fetch完成,reducetask执行
19.reducetask运行期间会向mrappmaster汇报自己的状态和进度
20.当maptask,reducetask 运行完成:mrappmaster到对应节点进行资源回收,并向resourcemanager注销自己,释放资源

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值