本文档详细介绍了如何设置Spark高可用模式，通过Zookeeper实现主节点的故障切换。首先，需要在`spark-env.sh`中配置Zookeeper的相关参数，如`spark.deploy.recoveryMode`、`spark.deploy.zookeeper.url`等。接着，将配置文件分发到集群各节点，启动Zookeeper服务。然后，在master-1和master-2上分别启动master进程，确保至少有两个备用master。当主动master如master-1被停止时，master-2会自动接管。重新启动master-1后，它将作为备用节点运行。此过程确保了Spark集群的高可用性。
1 Spark HA高可用模式部署
如果设置master只有一个, 所以也可能单点故障问题。可以启动多个 master, 先启动的处于 Active 状态, 其他的都处于 Standby 状态。
步骤1: 给 spark-env.sh 添加如下配置
添加上如下内容：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master-1:2181,master-2:2181,slave-1:2181 -Dspark.deploy.zookeeper.dir=/spark"
步骤2: 分发配置文件
需要安装spark集群的服务器上分发配置文件
步骤3: 启动 Zookeeper
步骤4: 在 master-1 启动全部节点
sbin/start-all.sh
会在当前节点启动一个 master
步骤5: 在 master-2 启动一个 master
sbin/start-master.sh
步骤6: 查看 master 的状态
步骤7: 杀死 master-1 的 master 进程
master-2 的 master 会自动切换成 Active
再次启动master-1，此时master-1会变成standby
扫一扫
525
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
