YARN的工作机制

 将YARN工作的机制分为五个阶段

 1.作业提交阶段

 2.作业初始化阶段

 3.任务分配阶段

 4.任务运行阶段

 5.作业完成阶段

作业提交阶段:1-4

客户端向ResourceManager提交作业,并且请求申请一个JobId

客户端拿到ResourceManager返回的JobId后,会进行配置,然后根据ResourceManager提供路径向集群上传本次作业所需要资源(如;jar包,xml配置等)

作业初始化阶段:5-8

资源递交完毕后,客户端向ResourceManager申请运行一个AppMaster,ResourceManager接收到申请后会将申请转变成成一个JOB,并且将job放入作业调度队列中。

任务分配阶段:9-14

ResourceManger会根据各个NodeManager的CPU、内存使用情况,为队列中的Job分配节点。

任务执行阶段:

拿到作业后NodeManager会在自己的内部开启一个Container用于运行AppMaster,然后AppMaster会下载之前上传的资源。

AppMaster向ResourceManager索要资源用于运行MapTask或者ReduceTask,ResourceManager收到申请后会根据资源的使用情况通知其他NodeManager让他们在自己的内部开启容器,用于运行Task。

最后,作业执行完毕。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值