Spark Cluster Mode Overview

最新推荐文章于 2024-02-17 19:39:00 发布

原创最新推荐文章于 2024-02-17 19:39:00 发布 · 227 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

本文深入解析了Spark应用程序在集群上的运行机制，包括集群管理器的角色、部署模式的区别、worker节点的功能，以及executor如何执行任务。同时，阐述了关键概念如Application、Driver program、Cluster manager、Deploy mode、Worker node、Executor、Task、Job和Stage的定义及其在Spark生态系统中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官网参考：
http://spark.apache.org/docs/latest/cluster-overview.html#cluster-mode-overview

在这里插入图片描述
Spark应用程序作为集群上的独立进程集运行，由主程序(称为驱动程序)中的SparkContext对象协调。
步骤描述：
1、为了在集群上运行，SparkContext首先会连接到集群管理器(要么是Spark自己的独立的集群管理器，要么是Mesos要么是yarn).然后集群管理器会给applications之间分配资源。
2、一旦连接好，Spark就会获得集群中executor的位置。然后发送你的应用程序代码给executos.最后，SparkCotext将任务发送给executors去执行。

概念描述
1、Application:基于Spark的应用程序。包含driver程序和集群上的excuter
2、Driver program：运行应用程序main()函数并创建SparkContext的进程
3、Cluster manager：用于获取集群资源的外部服务(例如，独立管理器、Mesos、YARN)
4、Deploy mode：区分驱动程序进程运行的位置。在“集群”模式下，框架启动集群内部的驱动程序。在“客户端”模式下，提交者在集群外部启动驱动程序。
5、Worker node：可以在集群中运行应用程序代码的任何节点
6、Executor：在Worker node上为应用程序启动的进程，它运行任务并将数据保存在内存或磁盘存储中。每个应用程序都有自己的executers。
7、Task:被送到executor的一个工作单元。
8、Job:由多个task组成的并行计算。（一个action触发一个job）
9、Stage：每个job会被划分成更小的job叫做stage.这些stage之间是相互依赖的(一父一子称为窄依赖，一父多子称为宽依赖)
在这里插入图片描述