本文详细介绍了如何配置Spark部署恢复模式为文件系统，并通过修改Spark-env.sh文件来设置恢复目录。包括如何在集群中复制配置文件，启动集群，使用Spark-shell进行操作，以及如何在杀死Master进程后恢复工作，利用先前的变量继续执行任务。
基于文件系统的 HA
spark.deploy.recoveryMode设成 FILESYSTEM
spark.deploy.recoveryDirectory Spark保存恢复状态的目录
Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/app/hadoop/spark100/recovery"
1 修改conf/spark-env.sh 文件
2 将修改后的文件拷贝到集群中的hadoop2，hadoop3
3 启动集群
4 启动一个spark-shell客户端并做部分操作后，然后用sbin/stop-master.sh杀死Master进程
做一些操作，比如定义两个变量：val a=2 val b=3 val c=a+b:
用sbin/stop-master.sh 杀死master：
杀死完后在客户端可以看到：
过段时间用sbin/start-master.sh启动master：
观察客户端和浏览器监控，发现spark-shell可以使用杀死master进程之前的变量c。
参考：http://mmicky.blog.163.com/blog/static/15029015420143191440337/
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
