spark内核揭秘-03-spark核心组件

spark核心组件如下所示：

在SparkContext初始化的时候，会初始化一系列内容：

查看内存使用情况：

创建和启动scheduler：

集群核心组件中的Block tracker是用于block和partition对应关系的管理。

集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。

从集群中也可以看出，Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。

而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的

也就是说有多partition就会有多少task在运行，而这些task都是并发的运行在Executor中的。

版权声明：本文为博主原创文章，未经博主允许不得转载。

转载于:https://www.cnblogs.com/stark-summer/p/4829819.html