Spark cluster 工作机制

Demo_chen

于 2019-05-17 14:03:25 发布

阅读量256

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/Codedemo/article/details/90291931

Spark 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了Spark-cluster在YARN Cluster模式下的工作任务执行流程。任务提交后与ResourceManager通讯启动ApplicationMaster（即Driver），Driver申请Executor内存并启动Executor进程，Executor反向注册后Driver执行main函数，触发job并划分stage和task，分发到Executor执行，执行中与Driver交互，结束后Executor注销。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark-cluster 工作任务执行流程模型

在YARN Cluster模式下，任务提交后会和ResourceManager通讯申请启动ApplicationMaster，随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster就是Driver。

Driver启动后向ResourceManager申请Executor内存，ResourceManager接到ApplicationMaster的资源申请后会分配container，然后在合适的NodeManager上启动Executor进程，Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数，之后执行到Action算子时，触发一个job，并根据宽依赖开始划分stage，每个stage生成对应的taskSet，之后将task分发到各个Executor上执行。

Executor 在任务执行的过程会随时跟Driver进行执行状态的交互，交互数据反馈到 spark 的 web UI （localhost:18080）界面展示。等到任务执行结束以后，Executor 会从Driver中注销。