Spark集群部署在Linux上

Spark集群部署

 

1 前提条件

部署三台Hadoop集群，版本要求是2.6.0

2 Spark部署要求

spark-2.3.2-bin-hadoop2.6

scala安装包：

3 Scala安装

下载安装包

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

解压安装：

tar –zxvf scala-2.11.7.tgz

 

环境变量设置：vim /etc/profile

export SCALA_HOME=/usr/local/scala/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin

测试是否安装成功：

scala –version

 

将安装好的scala环境进行复制

scp –r /usr/local/scala/  slave1:/usr/local/scala

4 Spark安装

解压安装spark

tar -zxvf spark-2.3.2-bin-hadoop2.6.tgz

对文件夹名进行修改：

mv spark-2.3.2-bin-hadoop2.6 spark-2.3.2

配置spark环境变量：

vim /etc/profile.d/spark-2.3.2.sh

在文件中添加：

export SPARK_HOME=/usr/local/spark/spark-2.3.2

export PATH=$PATH:$SPARK_HOME/bin

配置spark环境：

cd /usr/local/spark/spark-2.3.2/conf

cp spark-env.sh.template spark-env.sh

 

vim spark-env.sh添加以下内容：

export JAVA_HOME=/usr/local/java/ jdk1.8.0_11  # Java安装目录 

export SCALA_HOME=/usr/local/scala/scala-2.11.7  # Scala安装目录

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0   # hadoop安装目录

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop   # hadoop集群的配置文件的目录

export SPARK_MASTER_IP=master   # spark集群的Master节点的ip地址 

export SPARK_WORKER_MEMORY=1g   #每个worker节点能够最大分配给exectors的内存大小

export SPARK_WORKER_CORES=1   #每个worker节点所占有的CPU核数目

export SPARK_WORKER_INSTANCES=1  #每台机器上开启的worker节点的数目

修改conf文件夹下的slaves文件：

/usr/local/spark/spark-2.3.2/conf

cp slaves.template slaves

vim slaves   添加内容如下：

 

同步slave1和slave2的spark配置。

scp -r /usr/local/spark slave2:/usr/local/spark