五、kafka_2.9.2-0.8.1集群搭建

①为什么要搭建kafka集群

主要是在项目后期，要做一个实时计算的模块，实时数据都是从kafka集群里面读取，kafka就是一个分布式的消息队列，kafka搭建的底层基于zookeeper，zookeeper在四、zookeeper-3.4.5-cdh5.3.6集群搭建已经搭建好了。

②安装scala2.11.4

1、利用WinSCP软件将scala-2.11.4.tgz文件拷贝到虚拟机sparkproject1的/usr/local/路径。

2、对scala-2.11.4.tgz进行解压缩，在虚拟机sparkproject1的local目录下输入：tar -zxvf scala-2.11.4.tgz

     然后在local目录下输入：ll

     删除scala-2.11.4.tgz文件，在local目录下输入：rm -rf scala-2.11.4.tgz

     再输入：ll，发现只有scala-2.11.4文件夹，文件scala-2.11.4.tgz已经删除。

3、对scala目录进行重命名，在虚拟机sparkproject1的local目录下输入：mv scala-2.11.4 scala

     然后输入：ll，进行检查。

4、配置scala相关环境变量

在虚拟机sparkproject1的local目录，输入：vi ~/.bashrc

输入键盘 i 键 ，插入内容：

export SCALA_HOME=/usr/local/scala

export PATH=$PATH:.......:$SCALA_HOME/bin

然后按Esc，输入:wq，保存退出。

最后在local目录下输入：cat ~/.bashrc

里面的内容为：

export JAVA_HOME=/usr/java/latest

export HADOOP_HOME=/usr/local/hadoop

export HIVE_HOME=/usr/local/hive

export ZOOKEEPER_HOME=/usr/local/zk

export SCALA_HOME=/usr/local/scala

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$SCALA_HOME/bin

就是对的

然后需要source一下，在local目录下输入：source ~/.bashrc

5、查看scala是否安装成功，在sparkproject1虚拟机的/usr/local/目录下输入：scala -version，出现版本号，则安装正确。

6、按照上述步骤在sparkproject2和sparkproject3机器上都安装好scala。如何安装呢？使用scp将scala和.bashrc拷贝到另外两台机器上即可。

在sparkproject1虚拟机的local目录下输入：scp -r scala root@sparkproject2:/usr/local/

在sparkproject1虚拟机的local目录下输入：scp ~/.bashrc root@sparkproject2:~/

再在sparkproject2虚拟机检查一下，在sparkproject2虚拟机上的/usr/local/目录下输入：ll，有scala文件夹，就对了。