spark资源调度与yarn类比

博客主要介绍了Spark资源调度与Yarn的类比情况。其中,Spark的master对应Yarn的resourcemanager,负责资源调度;worker对应nodemanager,负责启动执行任务进程等;executor对应yarnchild,负责执行计算任务;SparkSubmit对应AppMaster,负责提交任务和申请资源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark资源调度与yarn类比:

master负责资源调度:就是决定在那些worker上启动executor,监控worker) ————>   yarn上的是resourcemanager

worker负责启动执行任务的进程(executor),并且监控executor,并且将当前机器的信息通过心跳汇报给master

————>nodemanager

executor负责执行计算任务————>yarnchild

SparkSubmit负责向Master提交任务并申请资源,然后该任务下的executor跟sparkSubmit进行通信,监控Executor

————>AppMaster

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值