spark搭建

前提：安装好了scala java hadoop
然后安装spark，只需要解压spark
1：修改配置文件 spark-env.sh
在主节点上进入spark安装目录 conf目录执行如下命令：

cp spark-env.sh.template  spark-env.sh
vi  spark-env.sh

添加 hadoop、scala 、Java环境变量（根据自己实际情况来配置）

export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=Mhadoop
export SPARK_WORKER_MEMORY=1g
export SCALA_HOME=/usr/lib/scala/scala-2.11.6
export SPARK_HOME=/usr/local/spark/spark-1.3.1-bin-hadoop2.4

2：编辑slaves（先把名字改变下，即把后缀template去掉）
编辑slaves文件，localhost删除，然后把节点地址写上去

3：把配置好的文件发送到其他的节点上就可以了

完工：
启动的时候先启动hadoop，然后再启动spark
启动spark的命令是$SPARK_HOME/sbin/start-all.sh,启动的时候需要进入目录里面启动，用为可能会跟hadoop的启动命令冲突
启动后会再master节点上出现Master，在子节点上出现worker，看到这些就说明可以了