Spark运行在yarn集群上的两种提交方式

Spark集群简单介绍

如前面几篇博客介绍的
Spark集群分为四种：

• local
• stand alone
• yarn
• mesos

这里我们就拿yarn来介绍。

yarn集群的两种提交方式

首先spark跑在yarn集群上，必须要开启HDFS，因为包要上传到HDFS上，但是standalone集群是不必开启的，因为要是开启的话，就会有两套spark集群，当你提交Application时就可能出现资源抢夺问题。

client

standalone集群和yarn集群提交命令的比较：

1. Stand alone：spark-submit --master spark://node01:7077
2. yarn：spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.3-hadoop2.6.0.jar 10

执行原理

执行流程

1. 客户端提交一个Application，在客户端启动一个Driver进程

2. Driver进程会向RS(ResourceManager)发送请求，启动AM(ApplicationMaster)的资源。

3. RS收到请求，随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。

4. AM启动后，会向RS请求一批container资源，用于启动Executor

5. RS会找到一批NM返回给AM,用于启动Executor。

6. AM会向NM发送命令启动Executor。

7. Executor启动后，会反向注册给Driver，Driver发送task到Executor,执行情况和结果返回给Driver端。

cluster

提交命令（两种）

./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

./spark-submit --master yarn-cluster --class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

执行原理

执行流程

1. 客户机提交Application应用程序，发送请求到RS(ResourceManager),请求启动AM(ApplicationMaster)。
2. RS收到请求后随机在一台NM(NodeManager)上启动AM（相当于Driver端）。
3. AM启动，AM发送请求到RS，请求一批container用于启动Executor。
4. RS返回一批NM节点给AM。
5. AM连接到NM,发送请求到NM启动Executor。
6. Executor反向注册到AM所在的节点的Driver。Driver发送task到Executor。