Spark大数据开发之旅之二：软件安装

在《Spark大数据开发之旅之一：准备工作》中，我们简单介绍了Spark大数据分析涉及到的软件，这一节中，我们介绍一下这些软件的安装。

一、安装JDK8

我之前的一篇文章中，介绍了如何使用apt方式安装JDK8，这里我们使用解压安装的方式安装JDK8。

1、解压到安装路径。上一节中，我们已经将JDK8下载到/usr/lib中。这里的路径没有限制，有人喜欢安装在/usr/lib下，有人喜欢安装在/usr/local下。我们这里安装在/usr/local下。

tar -zxvf /usr/lib/jdk-8u152-linux-x64.tar.gz /usr/local

2、配置jdk

linux下配置jdk的环境变量很简单，和windows下面很相似。编辑.bashrc文件即可。bashrc是一个系统启动文件，因为是一个隐藏文件，所以前面加了一个点。另外它在root的根目录下，所以需要加~。好了，使用nano或vim打开都可以，我这里使用nano打开编辑。

nano ~/.bashrc 

加入以下内容

export JAVA_HOME=/usr/local/jdk-8u152

export CLASS_PATH=${JAVA_HOME}/local:${JAVA_HOME}/jre/local

export PATH=${PATH}:${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin

有linux基础的很容易看明白上面的内容，没有linux基础的也可以类比windows的环境变量设置。实际上不同的地方在于用:分隔，而windows使用;隔开。当然还有一个就是每一句前面加一个export，这是linux的语法，就是写入系统变量。以后所有的系统变量都可以这样写。

写好之后，让系统变量立即生效，可键入如下命令：

source ~/.bashrc

然后测试一下

echo ${JAVA_HOME}

测试一下java

出现上图，就表示jdk已经配置好了。

二、安装scala

Spark大数据分析语言很多，但是推荐的是scala，但是根据项目具体的情况，也可以使用python和java。我们这里采用scala。

scala是一门独立的语言，并非依赖Spark。我们如同安装JDK一样的安装它。

先下载到/usr/local目录下

cd /usr/local

wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz

接着解压

tar -zxvf scala-2.10.4.tgz

接下来是配置系统变量

nano ~/.bashrc

添加下面的内容

export SCALA_HOME=/usr/local/scala-2.10.4

修改PATH变量

export PATH=${PATH}:${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:${SCALA_HOME}/bin

配置完成，照例让系统变量立即生效

source ~/.bashrc

测试一下

scala -version

运行scala程序，在命令行直接键入scala

我们输入了简单的计算1+1，scala返回了2。

三、安装hadoop

未完待续。。。