Spark集群角色

最新推荐文章于 2024-03-30 18:59:51 发布

老菜啦

最新推荐文章于 2024-03-30 18:59:51 发布

阅读量510

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_43497444/article/details/105326474

版权

本文详细介绍了Spark集群的角色分工，包括Master作为资源调度系统的领导者，负责管理Worker和Application的调度；Worker作为Slave，注册并报告资源信息给Master；Driver负责执行用户程序并调度任务；Executor则在节点上运行任务并缓存RDD，它们共同确保Spark应用的正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Master和Worker

Spark特有资源调度系统的Leader。掌管着整个集群的资源信息，类似于Yarn框架中的ResourceManager，主要功能：
（1）监听Worker，看Worker是否正常工作；
（2）Master对Worker、Application等的管理(接收worker的注册并管理所有的worker，接收client提交的application，(FIFO)调度等待的application并向worker提交)。
2）Worker
Spark特有资源调度系统的Slave，有多个。每个Slave掌管着所在节点的资源信息，类似于Yarn框架中的NodeManager，主要功能：
（1）通过RegisterWorker注册到Master；
（2）定时发送心跳给Master；
（3）根据master发送的application配置进程环境，并启动StandaloneExecutorBackend(执行Task所需的临时进程)

2.Driver和Executor

1）Driver（驱动器）
Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkC

最低0.47元/天解锁文章