spark HA

最新推荐文章于 2024-04-28 19:11:05 发布

原创最新推荐文章于 2024-04-28 19:11:05 发布 · 263 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

hadoop 专栏收录该内容

4 篇文章

订阅专栏

博客围绕 Spark HA 展开，介绍了使用的文件 spark-2.4.0-bin-hadoop2.7.tgz，通过 vim 编辑 spark-env.sh 和 slaves 文件进行配置。还说明了 Spark 启动后，node1 有 Master 和 Worker，其他节点只有 Worker，Master 需手动启动，web 端口为 8080。

spark HA

spark-2.4.0-bin-hadoop2.7.tgz

vim spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER "
export SPARK_DAEMON_JAVA_OPTS="${SPARK_DAEMON_JAVA_OPTS} -Dspark.deploy.zookeeper.url=Arvin01:2181,Arvin02:2181,hds:2181"

vim slaves