超级会员免费看
本文介绍了Spark的运行基本流程，包括SparkContext向资源管理器申请Executor，Executor运行Task并反馈状态。Spark运行架构特点包括executor的持久化，信息交换的需求以及数据本地性和推测执行的优化。此外，解释了Application、Driver、Cluster Manager、Executor等关键名词，并提供了Spark完整执行流程的图解。
1. Spark运行基本流程
Spark运行基本流程参见下面示意图：
构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；
资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上；
SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
Task在Executor上运行，运行完毕释放所有资源。
</
订阅专栏 解锁全文
扫一扫
6310
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
