Spark——实验二：Spark安装与验证

一. 实验目的

  学习spark的安装与验证，掌握其主要开发技术。

二. 实验内容

  1） 基于ubuntukylin16.04(10)，安装spark,形成ubuntukylin16.04(11)
  2） 基于ubuntukylin16.04(11)，安装sbt0.13.15，形成ubuntukylin16.04(14)
  3） 基于ubuntukylin16.04(14)，参考http://dblab.xmu.edu.cn/blog/1307-2/，完成spark应用程序练习。
  4） 基于ubuntukylin16.04(14)，参考http://dblab.xmu.edu.cn/blog/1311-2/，完成spark应用程序练习。

三. 实验步骤及结果分析

 1. 基于ubuntukylin14.04(10)，安装spark，形成ubuntukylin14.04(11)

  版本说明：ubuntukylin14.04(10)=hadoop集群（hadoop2.6.0版本）+hbase伪分布式（hbase1.1.2版本）+Scala2.11.8

  注：Spark官方下载地址为https://archive.apache.org/dist/spark/

 1.1 下载spark-2.1.0-bin-without-hadoop.tgz

 1.2 安装Spark

  打开终端，输入sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/命令将spark解压安装到/usr/local目录，输入cd /usr/local命令进入到此目录，然后输入命令sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark将安装后的spark文件名改名为spark，输入sudo chown -R mcf14:mcf14 ./spark命令将spark文件的权限改为当前用户mcf14。

 1.3 修改Spark配置文件spark-env.sh

  输入cd /usr/local/spark命令进入spark目录，输入cp ./conf/spark-env.sh.template ./conf/spark-env.sh命令将spark-env.sh.template复制一份并命名为spark-env.sh，然后输入vim ./conf/spark-env.sh命令打开此配置文件，在开头输入

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

  此配置信息让Spark把数据存储到Hadoop的HDFS中，从HDFS中读写数据。若没有此配置信息则Spark只能读写本地数据。按Esc键输入:wq并按Enter键保存并退出。

 1.4 验证Spark

  输入bin/run-example SparkPi 2>&1 | grep "Pi is"命令让终端输出Pi is，若成功则输出π的小数近似值，如下图所示。

 2. 基于ubuntukylin14.04(11)，安装sbt0.13.15，形成ubuntukylin14.04(14)

  版本说明：ubuntukylin14.04(11)=hadoop集群（hadoop2.6.0版本）+hbase伪分布式（hbase1.1.2版本）+Scala2.11.8+Spark2.1.0

  注：sbt下载地址为https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/

 2.1 下载sbt0.13.15

 2.2 安装sbt

  在终端输入sudo mkdir /usr/local/sbt命令在/usr/local/目录中创建sbt文件夹，输入sudo chown -R mcf14 /usr/local/sbt命令修改sbt文件夹的权限为当前用户mcf14，然后输入cd /usr/local/sbt命令进入到sbt文件夹，输入cp ~/下载/sbt-launch.jar .命令将下载好的sbt-launch.jar复制过来。

 2.3 创建sbt脚本文件

  在/usr/local/sbt目录中输入vim ./sbt命令创建sbt脚本文件，在其中添加以下内容：

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
Java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

  按Esc键，输入:wq并按Enter键保存并退出。

 2.4 验证sbt

  输入chmod u+x ./sbt命令为sbt脚本文件增加可执行权限，然后输入./sbt sbt-version命令检验sbt是否可用。

  等待一段时间后成功的话会显示如下信息。