spark

一、Spark运行环境
1、local环境
（1）解压缩文件
（2）启动Local环境
（3）编写集群所有进程查看脚本
2、搭建Standalone模式
（1）修改配置文件（在local基础上修改配置文件）
（2）复制 spark-env.sh.template 文件名为 spark-env.sh
（3）修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
（4）分发spark-standalone
（5）启动集群
（6）查看是否启动成功
（7）查看 Master 资源监控 Web UI 界面: http://master:8080（如果master不行用master IP地址）（具体原因是没在Windows里配置文件）
3、配置高可用(HA)
（1）停止集群
（2）启动Zookeeper
（3）修改spark-env.sh 文件添加如下配置
（4）分发配置文件
（5）启动集群
（6）启动slave2的单独Master节点，此时slave1节点MAster状态处于备用状态
（7）提交应用到高可用集群
（8）停止master的Master资源监控进程
（9）查看 slave1 的 Master 资源监控 Web UI，稍等一段时间后，slave1节点的 Master 状态
4、关于使用虚拟机主机名登录不起spark UI页面的问题
（1）查看结果