Linux虚拟机上Spark的安装过程

首先要确认Scala安装好

第一步去 Scala 官网 https://www.scala-lang.org/ 下载安装包
上传并解压到 /home/hadoop01/apps/scala-2.11.8
配置环境变量

export SCALA_HOME=/home/hadoop01/apps/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

Spark单机模式的安装

Spark官网 http://spark.apache.org/ 下载安装包
上传并解压
配置环境变量

export SPARK_HOME=/home/hadoop01/apps/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

测试

运行一个简单的spark小程序

spark -shell  //进入spark客户端
scala> sc.textFile("/home/hadoop01/apps/data/hello").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect.foreach(println)

完全分布式的安装配置

cd /home/hadoop01/apps/spark-2.2.2-bin-hadoop2.7/conf
cp spark-e