Hadoop YARN的工作流程

本文详细介绍了YARN调度流程中的八个关键步骤,包括客户端提交应用、启动ApplicationMaster、资源申请与分配、任务启动及监控等过程,帮助读者理解Hadoop YARN的工作原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


第一步: 客户端向 ResourceManager 提交自己的应用。


第二步: ResourceManager 向 NodeManager 发出指令,为该应用启动第一个 Container ,并在其中启动 ApplicationMaster。


第三步:  ApplicationMaster 向 ResourceManager 注册。


第四步: ApplicationMaster 采用轮询的方式向 ResourceManager 的 YARN Scheduler 申请资源。


第五步: 当 ApplicationMaster 申请到资源后(其实是获取空闲节点的信息),便会与对应的 NodeManager 通信, 请求启动计算任务。


第六步: NodeManager 根据资源量的大小、所需的运行环境,在 Container中启动任务。


第七步: 各个任务向 ApplicationMaster 汇报自己的状态和进度,以便 ApplicationMaster  掌握各个任务的执行状况。


第八步: 应用程序运行完成后,ApplicationMaster 向 ResourceManager 注销并关闭自己。




参考了《Hadoop海量数据处理 技术详解与项目实战(第2版)







评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值