spark安装文档

1.安装JDK

一定要安装1.7以上版本，在master，slave上都要安装

2.安装scala 2.11.7

 

3.安装spark

下载预编译版本spark-1.4.1-bin-hadoop2.6

 

4.配置文件

 spark-env.sh文件：

############

export SCALA_HOME=/usr/lib/scala-2.11.7
export SPARK_MASTER_IP=xx.xx.xx.xx
export SPARK_WORKER_MEMORY=10G

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/root/mysql-connector-java-5.1.35.jar

#############

slaves 文件，将从节点IP添加至slaves配置文件：

slave-01

slave-02

slave-03