安装分布式spark

1. 下载

http://spark.apache.org/downloads.html

如：版本自行选择

sudo wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz

2. 解压

 sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop3.2.tgz -C  /usr/local/bigdata/

mv spark-3.0.0-preview2-bin-hadoop3.2/ spark

3. 配置环境变量

vim ~/.bashrc

加入以下内容：

export JAVA_HOME=/usr/local/jdk
export SPARK_HOME=/usr/local/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4.1  配置slave文件

sudo cp ./conf/slaves.template ./conf/slaves

编辑slaves文件，指定子节点

slave1
slave2

 

4.2 配置spark-env.sh，加入以下内容

sudo cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑加入以下内容

export SPARK_DIST_CLASSPATH=$(/usr/local/bigdata/hadoop/hadoop-3.2.1/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_IP=主节点的ip

注：注意ip是master的ip，文件路径要对，是基于hadoop的文件路径

5. 打包并且发送到两个slave节点

打包

tar -zcf ~/spark.master.tar.gz ./spark

发送到子节点

cd ~
scp spark.master.tar.gz slave2:/home/hadoop/

6. slave节点解压

sudo tar -zxf ~/spark.master.tar.gz -C /usr/local/bigdata

 

7. 启动集群

主节点执行

./sbin/start-master.sh

权限不足执行：

sudo chown -R hadoop hadoop ./spark/

启动成功

可以看出多出了一个Master进程，说明master启动成功

下面启动slave节点，在master节点执行

./sbin/start-slaves.sh

可以看出子节点多出了一个Work进程。

访问http://master:8080

安装完毕！