spark 运行环境搭建

第一步：下载spark-1.0.2-bin-hadoop2.tgz ，scala-2.10.4.tgz  版本随意，由于文件包大于10兆，上传不了，自行下载吧，下载地址：http://spark.apache.org/downloads.html，http://www.scala-lang.org/download/

下载完后解压到目录 如：/exprot/servers ，命令tar -zxvf spark-1.0.2-bin-hadoop2.tgz   

 

第二步：配置环境变量,命令vi /etc/profile

1.配置JAVA_HOME  如：export JAVA_HOME=/export/servers/jdk1.7.0_80，jdk请自行下载

2.配置SCALA_HOME 如：export SCALA_HOME=/export/servers/scala-2.10.4

3.配置SPARK_HOME 如：export SPARK_HOME=/export/servers/spark-1.0.2-bin-hadoop2

4.配置PATH ,可以自己新增一个 如：export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

 

第三步：配置spark conf文件，首先进入到conf目录  cd /export/servers/spark-1.0.2-bin-hadoop2/conf,

1.如果该目录下存在spark-env.sh.template这个文件 ，那么请复制一份并改名为

spark-env.sh，如果没有spark-env.sh.template，自己直接创建一个spark-env.sh

2.如果该目录下存在slaves.template这个文件，那么请复制一份并改名为slaves，如果存在slaves，那就什么不用做

3.配置spark-env.sh  

export JAVA_HOME=/export/servers/jdk1.7.0_80

export SCALA_HOME=/export/servers/scala-2.10.4

export SPARK_MASTER_IP=192.168.195.159

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/export/servers/spark-1.0.2-bin-hadoop2/conf

SPARK_WORKER_INSTANCES=2

 

SPARK_WORKER_CORES=2

4.配置 slaves 

192.168.158.94

 

OK!  一台机器配置完毕   我把这台机器（192.168.195.159）设置成master，那么接下来按照上面的步骤配置slaves吧，对应我的机器是192.168.158.94

注意：spark目录和master机器保持一致 如：/export/servers/

 

slaves配置完毕后，就可以运行了（2台机器最好配置下ssh免密码登陆，因为master，slaves运行的时候需要通讯，如果没有配置，会要求输入密码，网上资料很多也很简单，请自行配置）

 

到master机器 spark sbin目录下   cd /export/servers/spark-1.0.2-bin-hadoop2/sbin 

执行./start-all.sh 即可，通过jps 查看 多出了一个Master进程, 上slaves机器查看，多出了一个worker进程

并通过链接访问UI界面：http://192.168.195.159:8080/

 

 

运行环境配置到此结束，那么运行一个worldcount程序测试下

代码可以复制:https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java

然后打成一个jar包，并上传到master机器（slaves也行）

并新建一个test.txt，写入如下内容

my name is xx

my name is yy

 

接下来就是提交到spark运行了, cd /export/servers/spark-1.0.2-bin-hadoop2/bin

执行如下命令：

spark-submit --master spark://192.168.195.159:7077 --name JavaWordCount --class com.xx.spark.JavaWordCount --executor-memory 10M --total-executor-cores 1 /export/servers/runspark/spark-study-1.0-SNAPSHOT.jar /export/servers/runspark/test.txt

 

运行结果：

my 2

name 2

is 2

xx 1

yy 1