Spark完全分布式集群搭建

环境准备

• 服务器集群
  我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的)

• spark安装包
  下载地址：https://mirrors.aliyun.com/apache/spark/
  我用的spark-2.2.0-bin-hadoop2.7.tgz
  要根据自己机器中的hadoop版本选择对应的spark版本、

1. 集群规划

1、安装Scala

下载路径：http://www.scala-lang.org/download/

拷贝文件到对应主机

（1）cp or SSH Secure File Transfer Client

（2）解压缩 tar -zvxf scala-2.12.2.tgz

（3）mv *** /opt/scala

（4）配置环境变量 /etc/profile

export SCALA_HOME=/home/hadoop3/scala-2.11.7
export PA