Spark jobServer搭建+提交作业执行

最新推荐文章于 2025-10-06 12:41:51 发布

原创

最新推荐文章于 2025-10-06 12:41:51 发布 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

本文详细介绍了如何搭建Spark JobServer，包括安装Scala、部署sbt、配置环境变量，以及两种方式提交WordCount作业执行：临时context和常驻context。在临时context中，作业完成后上下文被删除；而在常驻context中，上下文始终保持运行状态，适合多次执行任务。

安装scala

根据spark版本，在官网下载对应的unix版tar文件
配置环境变量

export PATH="$PATH:/usr/scala-2.10.6/bin"

立即生效命令

source /etc/profile

部署sbt

配置环境变量

export PATH="$PATH:/usr/sbt/"

建立启动sbt的脚本文件
在sbt目录下，创建sbt文件

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /usr/sbt/bin/sbt-launch.jar "$@"

查看sbt版本，第一次启动会自动下载文件