Spark工作机制及任务调度策略

1、Spark运行架构

1.1、运行架构

        Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构。

        如下图所示，它展示了一个Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。

2.2、Spark核心组件

2.2.1、Driver

         Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责：

        （1）将用户程序转化为作业（Job）；

        （2）在Executor之间调度任务（Task）；

        （3）跟踪Executor的执行情况；

        （4）通过 UI 展示查询运行情况；

2.2.2、Executor

        Spark Executor 是集群中工作节点（Worker）中的一个 JVM 进程，负责在 Spark 作业中运行具体任务（Task），任务彼此之间相互独立。Spark 应用启动时，Executor 节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有 Executor 节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他 Executor 节点上继续运行。

        Executor 有两个核心功能：

        （1）负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程

        （2）它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在 Executor 进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

2.2.3、Master  & Worker

        Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件࿱