spark HA

博客围绕 Spark HA 展开,介绍了使用的文件 spark-2.4.0-bin-hadoop2.7.tgz,通过 vim 编辑 spark-env.sh 和 slaves 文件进行配置。还说明了 Spark 启动后,node1 有 Master 和 Worker,其他节点只有 Worker,Master 需手动启动,web 端口为 8080。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark HA

spark-2.4.0-bin-hadoop2.7.tgz

vim spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER "
export SPARK_DAEMON_JAVA_OPTS="${SPARK_DAEMON_JAVA_OPTS} -Dspark.deploy.zookeeper.url=Arvin01:2181,Arvin02:2181,hds:2181"

vim slaves

node1
node2
node3

spark 启动

./sbin/start-all.sh

jps
node1有Master Worker
其他节点只有Worker,Master需手动启动。
web port:8080

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值