Scala安装

1 Scala安装

       当前，Spark最新版本是0.5，由于我写这篇文档时，版本还是0.4，因此本文下面的所有描述基于0.4版本。

不过淘宝的达人已经尝试了0.5，并写了相关安装文档在此http://rdc.taobao.com/team/jm/archives/tag/spark。

~~~~~~~~~~~~~~~以下开始我的安装文档~~~~~~~~~~~~~~

        我使用的Spark的版本是0.4，只存在于github上，该版本使用的Scala版本是0.9.1.final。所以先到http://www.scala-lang.org/node/165下载scala-2.9.1.final.tar.gz。解压后放到本地 /opt 下面，在 /etc/profile 里添加

export SCALA_HOME=/opt/scala-2.9.1.final

export PATH=$SCALA_HOME/bin:$PATH

2 git安装

由于下载Spark和编译Spark需要git，因此先安装git，安装方法可以到Ubuntu软件中心直接装，也可以apt-get装。装好后需要到https://github.com 去注册一个帐号，我注册的是JerryLead，注册邮箱和密码，然后根据网站上的get-start提示生成RSA密码。

注意：如果本地之前存在rsa_id.pub，authorized_keys等，将其保存或着将原来的密码生成为dsa形式，这样git和原来的密码都不冲突。

3 Spark安装

首先下载最新的源代码

git clone git://github.com/mesos/spark.git

得到目录spark后，进入spark目录，进入conf子目录，将 spark-env.sh-template 重命名为spark-env.sh，并添加以下代码行：

export SCALA_HOME=/opt/scala-2.9.1.final

回到spark目录，开始编译，运行

$ sbt/sbt update compile

这条命令会联网下载很多jar，然后会对spark进行编译，编译完成会提示success

[success] Total time: 1228 s, completed May 9, 2012 3:42:11 PM

可以通过运行spark-shell来和spark进行交互。

也可以先运行测试用例./run <class> <params>

./run spark.examples.SparkLR local[2]

在本地启动两个线程运行线性回归。

./run spark.examples.SparkPi local

在本地启动运行Pi估计器。

更多的例子在examples/src/main/scala里面