安装spark

一。准备工作  basic环境的安装 

 1 jdk   参考 http://li-fanghua.blog.163.com/blog/static/7954442020126317163641/

 2  scala  编译spark源码 参考 http://www.oschina.net/question/6981_28483

二 开始安装spark

第一种方式需要安装maven 可以参考 http://www.blogjava.net/caojianhua/archive/2011/04/02/347559.html

我采用的是第二种方式

在安装目录执行

首先确定git命令 如果没有可通过 yum -y install git 安装 不同版本的linux 用不同命令 可以查询 这里我用的是centos

git clone git://github.com/apache/spark.git -b branch-1.1

需要一段时间

得到目录spark后，进入spark目录，进入conf子目录，将 spark-env.sh-template 重命名为spark-env.sh，并添加以下代码行：

export SCALA_HOME=xxxx  填写profile 里面配置的环境变量即可

接下来执行 

sbt/sbt clean assembly 完成编译过程 时间不较长

提示安装成功

[success] Total time: 1228 s, completed May 9, 2012 3:42:11 PM

执行

./bin/spark-shell

提示

 14/05/10 14:18:23 INFO HttpServer: Starting HTTP Server
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 0.9.1
          /_/

    Using Scala version 2.10.3 (Java HotSpot(TM) Server VM, Java 1.7.0_51)
    Type in expressions to have them evaluated.
    Type :help for more information.
    14/05/10 14:18:34 INFO Slf4jLogger: Slf4jLogger started
    14/05/10 14:18:34 INFO Remoting: Starting remoting
    14/05/10 14:18:34 INFO Remoting: Remoting started; 
    ……
    Created spark context..
    Spark context available as sc.

及安装成功