博客主要介绍了Spark资源调度与Yarn的类比情况。其中，Spark的master对应Yarn的resourcemanager，负责资源调度；worker对应nodemanager，负责启动执行任务进程等；executor对应yarnchild，负责执行计算任务；SparkSubmit对应AppMaster，负责提交任务和申请资源。
spark资源调度与yarn类比：
master负责资源调度：就是决定在那些worker上启动executor,监控worker) ————> yarn上的是resourcemanager
worker负责启动执行任务的进程（executor），并且监控executor，并且将当前机器的信息通过心跳汇报给master
————>nodemanager
executor负责执行计算任务————>yarnchild
SparkSubmit负责向Master提交任务并申请资源，然后该任务下的executor跟sparkSubmit进行通信，监控Executor
————>AppMaster
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
