Spark1.6.1集群环境搭建——Standalone模式HA

最新推荐文章于 2023-12-23 18:31:07 发布

原创最新推荐文章于 2023-12-23 18:31:07 发布 · 2.5k 阅读

2 ·

CC 4.0 BY-SA版权

【大数据】Spark-2.3.3 专栏收录该内容

30 篇文章

订阅专栏

本文详细介绍如何在三台机器上搭建Spark集群，并配置高可用性（HA）。包括Scala安装、Spark下载与解压、环境变量配置、slaves及spark-env.sh文件设置等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。

192.168.200.11   hadoop11
192.168.200.12   hadoop12
192.168.200.13   hadoop13

安装scala

http://blog.youkuaiyun.com/silentwolfyh/article/details/51297083

在一台机器上解压、配置环境变量后，将文件夹和环境变量文件通过scp拷贝到另外两台即可。

scp -r /usr/app/scala-2.10.4 root@hadoop13:/usr/app/

下载spark

点击打开链接 http://spark.apache.org/downloads.html

解压文件 tar -xzvf spark-1.6.1-bin-hadoop2.6.tgz

备注：我选择的是基于hadoop2.6的spark1.6.1的编译版本

配置

1. 向环境变量添加spark home。

export SCALA_HOME=/usr/app/scala-2.10.4
export SPARK_HOME=/usr/app/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH: $SPARK_HOME/bin:$SCALA_HOME/bin

2. 配置./conf/slaves

首先将slaves.template拷贝一份

cp slaves.template slaves

修改slaves文件

hadoop11
hadoop12
hadoop13

3. 配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

export JAVA_HOME=/usr/app/jdk1.7

export SCALA_HOME= /usr/app/scala-2.10.4

export SPARK_MASTER_IP=hadoop11

export SPARK_WORKER_MEMORY=2g

export MASTER=spark://hadoop11:7077

最后将spark-1.6.1-bin-hadoop2.6文件夹拷贝到另外两个结点即可。

启动

[root@hadoop11 spark-1.6.1-bin-hadoop2.6]# ./sbin/start-all.sh

检查安装是否成功

访问web管理界面：http://hadoop11:8080

好了，配置结束，可以在我们的spark集群上运行任务了！

HA的配置

1. 配置./conf/spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop11:2181,hadoop12:2181,hadoop13:2181 -Dspark.deploy.zookeeper.dir=/spark"

最后将/conf/spark-env.sh文件夹拷贝到另外两个结点即可。