Spark基本架构

Spark基本架构

从集群部署的角度来看,Spark集群由以下部分组成:

  • Cluster Manager
  • Worker
  • Executor
  • Driver
  • Application
    在这里插入图片描述

Cluster Manager

  • 集群管理器,主要负责整个集群资源的分配与管理;
  • Cluster Manger分配的资源属于一级分配,将各个Worker上的内存、CPU分配给Application,但并不负责对Executor资源的分配
  • YARN部署模式下为ResourceManager

Worker

  • 工作节点,YARN部署模式下由NodeManager替代;
  • 负责以下工作:
    • 将自己的内存、CPU等资源通过注册的机制告知ClusterManger
    • 创建Executor
    • 将资源和任务进一步分配给Executor
    • 同步资源信息、Executor状态信息给Cluster Manager

Executor

  • 执行任务的一线组件
  • 主要负责:
    • 任务的执行
    • 与Worker、Driver信息的同步

Driver

  • Application的驱动程序,Application通过Driver与Cluster Manager和Executor进行通信;
  • Driver可以运行在Application中,也可以由Application提交给Cluster Manager并由Cluster Manager安排Worker执行;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值