Spark2.0.2+Scala2.11.8环境搭建

此处更正Spark版本和Scala版本的关系：
如官网所述。。。下面写的时候有误【虽然也能用，不过还是按照官网来吧】

---

1. 下载Spark

点击去官网
然后选择下载版本
红框根据自己需要选择，这里选2.0.2
注意蓝框部分需要和你安装的Hadoop版本一致，因为我的机器是2.7.5所以这里选Hadoop2.7

2. 上传spark到虚拟机，解压

3. 设置环境变量

编辑

vim ~/.bashrc

输入，SPARK_HOME 换成你的路径

export SPARK_HOME=/usr/local/src/spark-2.0.2
export PATH=$PATH:$SPARK_HOME/bin

生效

source ~/.bashrc

4. 配置spark-env

进入目录

cd /usr/local/src/spark-2.0.2/conf

拷贝一份模板文件

cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh，JAVA_HOME、SCALA_HOME、HADOOP_HOME换成你的虚拟机中对应的目录【稍后安装Scala】

export JAVA_HOME=/usr/local/src/jdk1.8.0_191
export SCALA_HOME=/usr/local/src/scala-2.10.7
export HADOOP_HOME=/usr/local/src/hadoop-2.7.7

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g

5. 配置slaves

依旧再 /usr/local/src/spark-2.0.2/conf 这个目录下
拷贝一份模板文件

cp slaves.template slaves

编辑slaves

slave1
slave2

6. 节点分发

scp -r /usr/local/src/spark-2.0.2/ slave1:/usr/local/src
scp -r /usr/local/src/spark-2.0.2/ slave2:/usr/local/src

7. 下载Scala

这里用2.10.7【因为Spark按照的2.x所以Scala版本更正为2.11.x+】
https://downloads.lightbend.com/scala/2.10.7/scala-2.10.7.tgz

8. 上传解压

9. 配置环境变量

vim ~/.bashrc

# scala
export SCALA_HOME=/usr/local/src/scala-2.10.7
export PATH=$PATH:$SCALA_HOME/bin

配置生效
source ~/.bashrc

输入scala

安装成功

10. 节点分发

略~

11. 启动spark集群

cd /usr/local/src/spark-2.0.2/sbin

执行

start-all.sh

11. 验证

查看jps

浏览器输入ip:8080