基于linux的spark与scala开发环境搭建

软件配置：

      操作系统：centos 6.4（如下图）

     

      内核版本：2.6.32（如下图）

     

      Java版本：1.6（如下图）

    

一、下载并安装scala

      从下面这个链接可以下载scala的linux版本（如下图），注意选择2.10.4版本和spark1.0.0用的版本吻合

http://www.scala-lang.org/download/2.10.4.html。

     然后解压缩，用tar xzvfscala-x.x.x.tgz可以得到解压缩后的文件夹，

     然后将其移动到/usr/lib目录下，并且更改系统的环境变量如下图所示

     并设置PATH=$PATH:$SCALA_HOME/bin

     这样通过scala –version便可以查看到当前的scala版本，说明scala安装成功。

     另外我们还可以直接进入scala的环境进行测试。

     如下图

二、安装spark

     从下面这个链接可以下载spark的各种版本

http://spark.apache.org/downloads.html

     我下载了编译好的hadoop1和源码包这两个压缩包。

     如下图所示

     并且解压缩

     设置环境变量

     注意由于在本机运行spark还需要设置如下两个环境变量

     这样运行

     便可看到spark成功运行

     下图展示运行分布式计算π的例程也可正常运行。