Scala集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。

一、架构说明

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。

一、架构说明

本次基于scala-2.11.1版本进行分布式配置。在此设置一个主节点和两个从节点。

准备3台虚拟机，分别为：

主机名	IP地址
master	192.168.0.41
slave1	192.168.0.42
slave2	192.168.0.75

本章节是记录Scala的搭建，后续会记录Hbase、Zookeeper、Kafka、Spark、Hadoop、Hive等的搭建，都是基于该环境的，一主两从模式的。 

已经在/home下创建了hadoop文件夹，用来存放各种安装的软件。

下载地址：http://distfiles.macports.org/scala2.11/

或者另一个地址：https://mirrors.tuna.tsinghua.edu.cn/apache/，这是我找的一个镜像服务器地址

二、搭建步骤

1、上传scala-2.11.1.tgz到/home/hadoop下，然后解压tar -zxvf scala-2.11.1.tgz

2、配置环境变量，vim /etc/profile
export SCALA_HOME=/home/hadoop/scala-2.11.1
export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.6
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin

修改以后，然后记得source /etc/profile使环境变量生效

3、将scala-2.11.1拷贝到slave1、slave2上

scp -r /home/hadoop/scala-2.11.1 root@192.168.0.75:/home/hadoop

scp -r /home/hadoop/scala-2.11.1 root@192.168.0.42:/home/hadoop

同时将/etc/profile拷贝到slave1、slave2上，或者将配置内容拷贝过去，然后记得source /etc/profile