Spark运行架构

博客介绍了Spark运行架构相关内容,包括Spark Application由1个driver和多个executors组成,还提及Application jar、Driver program、Cluster manager等概念,阐述了Deploy mode的不同情况,以及Executor、Task、Job的定义和作用,并给出相关文档链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark运行架构 要背下来
http://spark.apache.org/docs/latest/cluster-overview.html

  • Spark Application: 1个driver + 多个executors
  • Application jar : 打包时生成的jar包
  • Driver program :运行main函数的进程,并且创建了一个sparkcontext
  • Cluster manager: 一个从cluster申请资源的外部服务
  • Deploy mode: 区分driver进程跑在哪里;client模式下,driver跑在本地; cluster模式下,driver跑在集群里
  • Executor: 启动应用程序的进程;它能够运行tasks,保存数据到memort/disk。每个application都有自己的executor;
  • Task:作业的基本单元,每个task都会被送到一个executor上去执行
  • Job: 众多task组成的并行计算,一个Spark的action算子产生一个Job
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值