Spark从入门到精通5 -- Spark运行架构及流程

最新推荐文章于 2025-07-31 11:04:37 发布

原创最新推荐文章于 2025-07-31 11:04:37 发布 · 343 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据专栏收录该内容

12 篇文章

订阅专栏

本文深入解析Spark的运行架构，包括Application、Driver、Executor、DAG、Task、Job和Stage等核心概念，以及Spark的运行流程，从提交应用到执行任务直至销毁SparkContext的全过程。

`Spark`运行架构及流程

`Spark`运行架构

架构图

在这里插入图片描述

基本概念

Application：用户编写的Spark应用程序，一个main方法。
Driver：程序中执行main方法的进程，创建SparkContext为Spark应用程序提供运行环境，负责与ClusterManager的通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后，Driver同时负责将SparkContext关闭。
Executor：是运行在工作节点（WorkerNode）的一个进程，负责运行Task。
DAG：有向无环图，反映RDD之间的依赖关系。
Task：运行在Executor上的工作单元。
Job：一个Job包含多个RDD,一般一个action为一个job
Stage：是Job的基本调度单位，一个Job会分为多组Task，每组Task被称为Stage，或者也被称为TaskSet，代表一组关联的，相互之间没有Shuffle依赖关系的任务组成的任务集。

关系解释

  一个Application由一个Driver和若干个Job构成
  一个Action为一个Job
  一个Job由多个Stage构成
  一个Job由是否有宽依赖分为多个Stage
  一个Stage由多个没有Shuffle关系的Task组成
  一个Task根据RDD分区并行运行在多个分区上

Executor有两个优点：

利用多线程来执行具体的任务减少任务的启动开销；
Executor中有一个BlockManager存储模块，会将内存和磁盘共同作为存储设备，有效减少IO开销；

`Spark`运行流程

流程图

1、用户通过spark-submit脚本提交应用
2、spark-submit脚本启动驱动器程序，调用用户定义的main方法
3、驱动器程序与集群管理器通信，申请资源启动执行器节点
4、集群管理器为驱动器程序启动执行器节点
5、驱动器进程执行用户应用中的操作，根据程序中定义的对RDD的转化操作和行动操作、驱动器节点把工作以任务形式发送到执行器节点。
6、任务在执行器程序中进行计算并保存结果
7、如果程序的main方法退出或者调用了SparkContext.stop()，驱动器程序会终止执行器进程，并且通过集群管理器释放资源。