大数据处理实践探索 ---- 笔试面试题：Spark 基础

---

基础

纵览

基础知识可参考：https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python

作业执行原理

作业（Job）：RDD每一个行动操作都会生成一个或者多个调度阶段 调度阶段（Stage）：每个Job都会根据依赖关系，以Shuffle过程作为划分，分为Shuffle Map Stage和Result Stage。每个Stage包含多个任务集（TaskSet），TaskSet的数量与分区数相同。

任务（Task）：分发到Executor上的工作任务，是Spark的最小执行单元　 DAGScheduler：DAGScheduler是面向调度阶段的任务调度器，负责划分调度阶段并提交给TaskScheduler

TaskScheduler：TaskScheduler是面向任务的调度器，它负责将任务分发到Woker节点，由Executor进行执行