Spark Standalone Mode配置HA

小萌猿

于 2018-05-02 21:42:11 发布

阅读量2.4k

点赞数 1

分类专栏： Spark 文章标签： spark standalone HA

本文链接：https://blog.youkuaiyun.com/qq_31246691/article/details/80172533

版权

Spark 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何在Spark集群环境中配置环境变量，并详细解释了如何启动standby节点过程中遇到的问题及解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置环境：node1、node2、node3
核心就是在spark-env.sh中添加(三台节点都添加)：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.245.151:2181,192.168.245.163:2181,192.168.245.165:2181"

这里没有设置在zookeeper上的位置，默认为/spark.
之后在node1操作：start-all.sh 通过web查看，node1为master节点
问题来了，当我在node2里操作：start-master.sh来启动一个standby节点后，发现启动失败，查看日志后发现，是因为在node2的spark-env.sh里的配置：export SPARK_MASTER_IP=node1，这里解决方法有两种：
一、直接将node1改为node2即可，同理，如果想让node3做standby节点，可做同样配置
二、直接将这个配置注释掉，不指定master，自己就可以作master