Spark Standalone环境基本原理

一、介绍

Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。

二、本质

Standalone集群使用了分布式计算中的master-slave模型，master是集群中含有Master进程的节点，slave是集群中的Worker节点含有Executor进程。

三、成员角色

• 主节点Master：管理整个集群资源，接收提交应用，分配资源给每个应用，运行Task任务
• 从节点Workers：管理每个机器的资源，分配对应的资源来运行Task；每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数
• 历史服务器HistoryServer(可选)：Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息。

四、运行部分

Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。

• Driver Program：
  • 相当于AppMaster，整个应用管理者，负责应用中所有Job的调度执行;
  • 运行JVM Process，运行程序的MAIN函数，必须创建SparkContext上下文对象；
  • 一个SparkApplication仅有一个；
• Executors
  • 相当于一个线程池，运行JVM Process，其中有很多线程，每个线程运行一个Task任务，一个Task任务运行需要1 Core CPU，所有可以认为Executor中线程数就等于CPU Core核数；
  • 一个Spark Application可以有多个，可以设置个数和资源信息；

五、程序执行阶段

1. 用户程序创建 SparkContext 时，新创建的 SparkContext 实例会连接到 ClusterManager。 Cluster Manager 会根据用户提交时设置的 CPU 和内存等信息为本次提交分配计算资源，启动 Executor。
2. Dri