sparksubmit的执行流程

最新推荐文章于 2024-08-19 14:50:43 发布

时空那束光

最新推荐文章于 2024-08-19 14:50:43 发布

阅读量469

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_38976693/article/details/81539904

本文详细介绍了使用sparksubmit提交Spark任务后的运行流程，包括master与worker的连接建立、资源申请与分配、executor启动及task执行过程。同时，还对比了Yarn与Spark StandAlone两种模式下的调度机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sparksubmit提交任务之后的任务运行流程如下：

1、master与worker建立连接 master中有worker的信息内存核数资源 IO 网络等信息

2、worker每段时候会向master发送心跳报活

3、Driver发送任务，首先会向master申请资源

4、master与worker进行rpc通信，让worker启动executor

5、executor启动后会主动连接driver

6、driver会产生task 然后通过网络发送给executor ，然后在executor中执行真正的运算逻辑

Yarn和Spark的StandAlone调度模式对比

ResouceManager        Master   管理子节点、资源调度、接收任务请求
NodeManger              Worker   管理当前节点，并管理子进程
YarnChild            Executor 运行真正的计算逻辑的（Task）
Client                      SparkSubmit （Client + ApplicaitonMaster）提交app，管理该任务的Executor
ApplicaitonMaster                    并将Task提交到（Executor）   DRIVER