在 Yarn 上 安装 Spark 0.9.0

今天在自己的Yarn cluster 上搭建了Spark 0.9.0,这里粗要地记录一下主要步骤。 详细的步骤主要参照了以下两篇blog,在此对两位作者表示感谢!

-Apache Spark学习:将Spark部署到Hadoop 2.2.0上: http://dongxicheng.org/framework-on-yarn/build-spark-on-hadoop-2-yarn/

-spark0.9分布式安装:http://blog.youkuaiyun.com/myboyliu2007/article/details/18990277


1、下载Spark 0.9.0 binary: http://mirror.bit.edu.cn/apache/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2.tgz

下载后可以直接使用,省去了编译等过程。另外,该版本可以直接运行在Yarn上


2、下载 Scala 2.10.3://www.scala-lang.org/files/archive/scala-2.10.3.tgz

下载后需要在所有node上面解压Scala,然后将SCALA_HOME加入PATH

export SCALA_HOME=/opt/scala-2.10.3
export PATH=$PATH:$SCALA_HOME/bin


3、在Spark master 上安装配置Spark(参考spark0.9分布式安装)


4、在其它Spark worker上面安装配置Spark:

把Spark master 上安装配置好的Spark文件夹copy到每一个Spark worker上,然后配置必要的环境变量


5、从Master节点上启动Spark cluster:

$ ./sbin/start-all.sh


6、通过网页查看Spark cluster状态(http默认端口为8080):



7、测试一(本地模式)

命令: ./bin/run-example org.apache.spark.examples.SparkPi local

运行结果(部分截图):


8、测试二(运行在Yarn上)

执行脚本:

#! /bin/bash
export YARN_CONF_DIR=/opt/hadoop-2.2.0/etc/hadoop
export SPARK_JAR=./assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \

bin/spark-class org.apache.spark.deploy.yarn.Client \
--jar examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.0-incubating.jar \
--class org.apache.spark.examples.SparkPi \
--args yarn-standalone \
--num-workers 3 \
--master-memory 385m \
--worker-memory 385m \
--worker-cores 1

运行结果(从Yarn的web GUI上面可以看到job的output):





评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值