Spark as a Service之JobServer部署

续上一篇Spark as a Service之jobServer部署使用开发者模式来测试,本文正式部署并使用jobserver,当前版本有很多BUG和不完善的地方,期待后续的版本修复。

部署

复制config/local.sh.template到local.sh ,并且设置相关参数。 可以在多个主机上配置jobserver,并指定安装路径,Spark Home, Spark Conf等参数。

然后修改project/Dependencies.scala,修改spark依赖的版本(修改为1.1.0会报错,可能是akka版本匹配的问题),否则会出现一些API找不到的情况。(参考:https://github.com/ooyala/spark-jobserver/issues/29
将其中

此处一定修改为当前spark的版本。
部署jobserver,需要漫长的等待。这个过程如果没有配置SSH互信,还需要输入操作系统用户的密码。为了方面部署,先创建一个key并复制到spark用户中。

部署完成后,在INSTALL_DIR下可以看到相关文件

启动JobServer

进入服务器指定目录,运行server_start.sh
需要把config下的local.conf复制到INSTALL_DIR下面,改名为local.conf,并修改其中的master以及两个路径。

完成后可以启动jobServer,并执行测试。

提交后可以在spark的web UI上查看执行的任务。
jobserver

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值