spark2.0+hadoop2.7.1简单部署

保证hadoop已经正常部署，以下为spark部署做个小笔记：
1、安装scala-2.11.8.tgz

1)tar -xvzf scala-2.11.8
mv scala-2.11.8 /usr
2)配置环境变量,在/etc/profile 中添加如下语句：
export SCALA_HOME=/usr/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

2、安装spark

在 master上做如下动作：
1) tar -xzvf spark-2.0.0-bin-hadoop2.7.tgz
mv spark-2.0.0-bin-hadoop2.7 /usr/spark2.0
配置环境变量：（/etc/profile）
export SPARK_HOME=/usr/spark2.0
export PATH=$PATH:$SPARK_HOME/bin
2) 配置spark环境（spark2.0/conf）下
配置spark-env.sh文件：
mv spark-env.sh.template spark-env.sh
在spark-env.sh 中添加：

    export SCALA_HOME=/usr/scala-2.11.8
    export JAVA_HOME=/usr/java
    export HADOOP_HOME=/usr/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_MASTER_IP=master

配置slaves 文件：

mv slaves.template slaves
在slaves中增加从节点
node1
node2

3) 将 /etc/profile 和 spark2.0文件夹拷贝至 从节点
scp -r spark2.0 node1:/home/hadoop

2、运行实例
运行spark自带的LocalPi实例：
进入spark 的bin目录，找到run-example.sh,输入如下命令：

hadoop@master:/usr/spark2.0/bin$ ./run-example org.apache.spark.examples.LocalPi spark://master:7077
Pi is roughly 3.14496