spark内核解析——spark 脚本解析

更好的理解spark——spark 脚本解析

在学习spark的时候，我们一个start-all.sh就将spark集群成功启动，有没有仔细看过这里面的细节呢？今天来总结一下spark启动脚本的流程

1. 集群启动脚本：start-all.sh
   
2. spark-config.sh 的作用主要就是初始化两个环境变量
   
3. spark-master.sh 的作用是初始化变量，启动master进程
   
   调用spark-daemon.sh脚本启动master进程（spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --host $SPARK_MASTER_HOST --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT $ORIGINAL_ARGS）
4. spark-slave.sh 的作用是初始化变量，启动master进程
   
5. 最后看下 bin/spark-submit 做什么什么工作
   

总结：通过上面的脚本启动，我们大致知道了一个start-all.sh的脚本都做了些什么工作，同时，也找到了master、worker、spark-submit的主启动类，这样也对理解spark整体的流程有了一定的认识