CDH大数据平台搭建之SPARK集群搭建

---

一、安装规划

参考CHD大数据平台搭建之集群规划

二、下载

1、官网下载
2、网盘下载 提取码：cdh5
备注：官网下载的是apache版本，网盘的是cdh5.7.6的版本

三、安装及配置

1、解压

tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.6.tgz -C /opt/modules/

2、修改配置文件

1、进入配置文件夹：

cd /opt/modules/spark-2.2.0-bin-2.6.0-cdh5.7.6/conf/

2、重命名文件

mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

3、配置spark-env.sh文件，添加如下配置

export SCALA_HOME=/opt/modules/scala-2.11.8
export JAVA_HOME=/opt//modules/j