Spark on Yarn+Hbase环境搭建指南（三）Spark安装

一、Scala安装

Spark官方要求Scala版本为2.10.x, 从Spark1.4开始可能版本有所变更。

步骤：（假设安装目录为/home/seraph/source/）

1)     解压

tar –zxvf scala-2.10.5.tgz

2)     配置环境变量

在~/.bash_profile中加入：

export SCALA_HOME=/home/seraph/source/scala-2.10.5

exportPATH=$PATH:$SCALA_HOME/bin

通过source指令执行此脚本

3)     验证

执行：$scala –version

如果显示如下：

Scala code runner version 2.10.5 – Copyright2002-2013, LAMP/EPFL

则表示成功。

二、Spark安装

1）解压

$tar - -zxvf spark-1.3.1-bin-hadoop2.6.tgz

2）配置

a)     进入conf目录，拷贝spark-env.sh.template并重命名为spark-env.sh

添加如下内容(根据实际情况配置)：

   export SCALA_HOME=

   export JAVA_HOME=

   export HADOOP_HOME=

   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop<