Spark设计理念与基本架构学习

《深入理解Spark核心思想与源码分析》学习

一、Spark模块设计

Spark模块包括Spark Core，Spark SQL, Spark Streaming， GraphX， MLlib。
其中，Spark Core是Spark的核心功能实现，包括SparkContext的初始化，部署模式，存储体系，计算引擎，任务提交与执行；
Spark SQL提供关系型数据库SQL处理能力；Spark Streaming提供流式计算处理能力；GraphX提供图计算能力；MLlib提供机器学习相关算法实现。

Spark的核心功能由Spark Core提供，如下：
SparkContext：在编写Spark程序时，首先应对SparkContext进行初始化，我们编写的 Driver Application的执行与输出都是通过SparkContext来实现。SparkContext中的DAGScheduler负责Job的创建，将DAG中的RDD划分到不同的Stage，提交Stage等，TaskScheduler中的Schedulerbackend负责资源的申请分配与任务调度。
存储体系：Spark是基于内存的，优先选择各节点的内存进行存储，当内存不够用时，才会考虑使用磁盘存储，尽可能减少了磁盘I/O操作，提升了效率，这使得Spark适用于实时计算、流式计算的场景。
计算引擎：计算引擎由SparkContext中的DAGScheduler、RDD和具体节点上的Executor进程负责执行的Map和Reduce任务组成。
部署模式：提供了Standalone模式的部署实现，支持Yarn等分布式资源管理系统，这主要解决单节点不足以提供足够的存储和计算能力的问题。
Spark扩展功能包括Spark SQL, Spark Streaming， GraphX， MLlib。

二、Spark模型设计

Spark编程模型：

1. 初始化SparkContext，并编写Driver Application程序；
2. 通过SparkContext提交用户应用程序。内部执行过程为首先使用BlockManager和Broad