在已搭建好的Hadoop集群环境下,进行搭建Spark集群环境。
1 前言
1.1Spark集群搭建步骤
(1)Hadoop集群的搭建
(2)Scala软件安装
(3)Spark集群搭建
1.2环境说明
具体配置参考我的另一篇文章《CentOS7搭建Hadoop集群环境》:
(1)三台CentOS7(最小化安装)虚拟机:master、slave1、slave2
(2)软件:java1.8、hadoop2.6、scala2.12.8、spark-2.4.1-bin-hadoop-2.6
(3)IP:master(172.16.24.38)、slave1(172.16.24.79)、slave2(172.16.24.48)
2 搭建Spark集群
注:①以下所有步骤(除非特别指出)均在master机器hadoop用户下操作,因为生产环境下root用户不能随便使用。
②chadoop目录为统一管理java和hadoop的父级目录,在这里,也一同管理scala和spark。
2.1Hadoop集群的搭建
具体内容在我的另一篇文章《CentOS7搭建Hadoop集群环境》。
2.2安装Scala
(1)下载scala二进制文件包
wge