job提交(yarn)过程

本文详细阐述了YARN框架下作业提交的具体流程,从客户端上传jar包开始,经过资源管理器调度,到应用程序主控Appmaster的启动,直至Map和Reduce任务的执行与资源释放。深入介绍了容器分配、资源请求及任务执行的全过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.客户端将向resourcemanager上传jar包
2.resourcemanager将jobid,存储路径及相关信息告诉给客户端
3.客户端将相关资源上传到返回的路径上(HDFS上),上传完后返回resourcemanager上传成功,
4.resourcemanager将job拉近队列中(FIFO队列支持先进先出)等待nodemanager领取job(有三个调度器:容量调度器,资源调度器,公平调度器)
5.将任务分配给资源较多的节点,而节点接到任务后向resourcemanager申请container(container里下载了job.jar,job.xml,job.spilt,job.spiltinfo)然后将客户端发出命令启动Appmaster
6.Appmaster计算资源,像resourcemanager请求maptask的资源
7.resourcemanager分配资源(container),下载job.jar到container,Appmaster启动maptask(yarnchild)
8.maptask执行完毕,通知Appmaster,然后释放maptask资源,Appmaster向resourcemanager申请reducetask的资源
9.resourcemanager分配资源(container),下载job.jar到container,Appmaster启动reducetask(yarnchild)
10.reducetask执行完成后,通知Appmaster,然后释放reducetask资源,Appmaster通知resourcemanager,Appmaster释放资源
11.图解:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值