在linux环境下安装和配置Spark

1.        搭建java开发环境

  (1)      安装JDK(下载，解压，配置环境变量)

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压

>tar xfzvjdk-8u91-linux-i586.tar.gz

设置路径和环境变量

将解压后文件目录设置为JAVA_HOME路径。

 -修改.bashrc文件。

这种方法更为安全，它可以把使用这些环境变量的权限控制到用户级别，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bashrc文件就可以了。

1)        用文本编辑器打开用户目录下的.bashrc文件

2)        在.bashrc文件末尾加入：　　

>export JAVA_HOME=~/software/jdk1.8.0_91

>exportJRE_HOME=~/software/jdk1.8.0_91/jre

>exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

>exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

‘=’左右千万不要空格！！！

-修改etc/profile文件

1)        在shell中输入上述指令

2)        让配置生效

>source/etc/profile

验证是否安装成功

>java –version

2.        下载spark安装包

http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz

3.        在指定目录下解压安装包并进入

>tar xfvz spark-1.2.0-bin-hadoop2.4.tgz

>cd spark-1.2.0-bin-hadoop2.4/