hadoop+spark环境搭建

在上一节 hadoop搭建的继承上，继续搭建spark环境

上一节地址：hadoop-2.7.5 完全分布式集群搭建

（1）配置scala

机器1：node1(192.168.0.211) 主节点

机器2：node2(192.168.0.212) 从节点

机器3：node3(192.168.0.213) 从节点

scala包：scala-2.12.2.tgz，上传到/opt/目录下

解压

tar zxvf scala-2.12.2.tgz

创建软连接

cd /usr/local/
ln -s spark-2.12.2 spark

 

配置环境变量vim /etc/profile:

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

配置后执行：

source /etc/profile

注：node1,node2,node3同样需要配置scala。

 

（2）spark配置

机器1：node1(192.168.0.211) 主节点

机器2：node2(192.168.0.212) 从节点

机器3：node3(192.168.0.213) 从节点

 

以下先在主节点node1上配置spark环境，node2,node3直接复制过去，作小改动即可。

对于node1：

在node1:/opt/下解压

tar zxvf spark-2.4