sbt的安装以及用sbt编译打包scala编写的spark程序

最新推荐文章于 2025-06-26 22:34:55 发布
原创 最新推荐文章于 2025-06-26 22:34:55 发布 · 2.5w 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #linux

本文详细介绍了在Linux系统中如何安装sbt，并使用sbt编译和打包一个Scala编写的Spark程序。从创建项目目录结构、编写Scala源代码，到设置sbt配置文件，再到下载sbt jar包、创建sbt脚本，以及最终的编译打包和使用spark-submit提交运行，整个过程一目了然。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。

1 .首先进入根目录创建相应的目录结构，执行下面的这些命令,这里-p参数表示创建多级目录
这里写图片描述

2 .之后通过cd 命令进入这里创建的scala目录下，通过vim SimpleApp.scala创建scala文件，里面是空的，添加下面这些内容，这个程序是用来统计一个文本中含有字母a和含有字母b的行数，这里指定的logFile是存放在Linux下的相应目录下，注意这里是///,这个logFile可以在windows下创建通过xftp4进行传输，也可以直接在linux下直接创建，这个内容是Spark压缩包中自带的
这里写图片描述

3 .之后在Linux下输入spark-shell，查看一下spark和scala对应的版本，记录下来，稍后会用到

最低0.47元/天 解锁文章

200万优质内容无限畅学
了解、安装sbt，使用sbt（console、IDEA）以及IDEA中打包spark的jar包
王某的博客
11-13 1万+
本文测试环境： ● Win10 ● Scala-2.12.3 ● Spark-2.2.0 ● Sbt-1.0.0 ● JDK-1.8 ● IDEA-2017.1.4 ● Git(IDEA下载SBT插件时可能会用到) ● 2017/8/26(文章写完一直忘了发到博客上) 我在配置IDEA+scala&sbt的过程中走了不少弯路，所以记录一下配置
6.编写Spark独立应用程序(sbt)（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-13 1586
编写Spark独立应用程序(sbt) ① 使用Scala语言编写Spark独立应用程序； ② 使用sbt工具对Spark应用程序进行编译打包。 实验原理 -> sbt SBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利，但它是一个通用的构建工具。可以使用sbt工具，对采用Scala语言编写的Spark应用程序进行编译打包。1. 安装sbt工具 下载安装包请打开浏览器访问如下链接进行下载拷贝代码 http://file.ictedu.com/fileserver/big_data_
idea利用sbt打包scala程序为jar包 并发布到集群中测试
热门推荐
Gamedev
02-22 1万+
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...
【Sbt安装教程笔记】
最新发布
weixin_47036445的博客
06-26 389
sbt（Simple Build Tool）是Scala的构建工具，用于自动化编译、测试、打包和依赖管理等任务。它通过配置文件（build.sbt）定义项目结构和依赖关系，支持增量编译、插件扩展，能与Java生态系统无缝集成，是Scala项目开发中主流的构建工具之一。点击自己想要的版本进行下载，我下载的是1.10.3的最新稳定版，然后点击Windows对应的后缀为.msi的版本进行下载。新建一个有 build.sbt 项目的目录下运行 sbt，否则它不知道该运行哪个 Scala 项目。
使用IDEA配置sbt，编译打包Scala代码
qq_52147555的博客
10-23 2630
IDEA配置sbt，编译打包Scala代码
13.Linux下sbt编译打包Spark程序 和 Maven编译打包Scala程序
ghw666666666的博客
10-23 1555
README文件中包含“a”和“b”的行数，并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。
使用sbt对Scala程序进行打包并运行（Spark单机运行）
在职后端开发工程师的学习笔记
03-03 102
十、使用sbt对Scala程序进行打包并运行(Spark单机运行) 在./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt)，添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系： name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libr...
【Scala构建工具】sbt安装与配置：从环境搭建到Spark应用开发全流程指南
06-17
随后，文档逐步演示了利用sbt创建Scala项目的基本流程，如建立项目目录结构、编写简单的Scala代码、构建sbt配置文件、打包程序为JAR文件，并通过spark-submit命令提交任务执行。此外，还提供了一个稍复杂的示例，...
使用Scala语言编写Spark应用程序实现数据去重
weixin_46701669的博客
10-24 6707
使用Scala语言编写Spark应用程序实现数据去重一、题目需求二、建立目录结构（一）创建 sparkapp4 文件夹并切换（二）创建 data 文件夹（存放A.txt B.txt）（三）创建 /src/main/scala 文件夹用来存放代码（四）编写代码（五）编写 simple.sbt三、编译及运行（一）编译（二）运行（三）验证 一、题目需求 使用Scala语言编写Spark应用程序实现数据去重（需要使用编译打包工具Maven或sbt进行编译打包）。 对于两个输入文件A和B，编写Spark独立应用程序，
使用sbt对Scala独立应用程序进行编译打包
03-25
好的，我现在需要帮助用户了解如何使用sbt编译和打包Scala独立应用程序。首先，我得回想一下自己之前学过的关于sbt的知识，或者看看用户提供的参考资料。用户给出了四个引用，看起来都是关于sbt安装、编译打包Spark...
sbt 编译打包 scala
hj1993的博客
02-07 859
sbt 编译打包 scala
scala-dist：打包Scala发行版的sbt项目
02-20
Scala 2.13.x发行版 该项目将"org.scala-lang" % "scala-dist" % $version Maven工件变形为Scala $version发行$version （zip，tar.gz，deb，rpm和msi）。 要构建发行版，请运行： universal:packageBin构建通用zip安装程序 universal-docs:packageBin构建通用文档zip debian:packageBin构建Debian DEB文件。 需要dpkg-deb rpm:packageBin构建yum RPM文件。 需要rpmbuild windows:packageBin构建Windows MSI。 需要WiX 3.6 另外， s3Upload任务的映射是根据安装程序在其上运行的平台配置的。 在Windows上，它会构建MSI。 在另一个平台上，它将
通过sbt参数实现scala代码编译控制
Shie_3的博客
06-11 916
因为我们基于spark的数据平台需要针对不同的spark版本进行代码的兼容，和项目构建的方便。需要通过使用sbt构建项目时通过指定spark版本来构建依赖不同spark版本的代码。 首先，我们将不兼容的项目代码分别放到不同的目录下，目录结构如下： 然后，通过不同指定不同的spark版本编译不同的兼容代码即可，具体sbt配置如下： val sparkV = "2.3.0" lazy ...
ubuntu中sbt安装、打包及运行scala
liuliuliuliu666的博客
05-18 7048
记录下SBT打包ubuntu中用sbt打包1. sbt的安装2.创建 scala 文件3.用sbt打包 ubuntu中用sbt打包 刚学spark,就被折磨了好几天，现在记录下sbt打包。 1. sbt的安装 （1）从 http://www.scala-sbt.org 下载文件sbt-1.3.8.tgz 保存到下载目录。假设下载目录为“～/下载”，安装目录为“/usr/local/sbt” （2）在终端输入以下内容 sudo mkdir /usr/local/sbt 　　　# 创建安
SBT打包编译流程
Cheengvho的博客
08-23 8607
scala文件写好为前提。 在项目目录创建一个sbt文件 $ vim simple.sbt 编写simple.sbt文件，以下为该文件的内容： name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" %% "spark-cor...
sbt创建spark程序（windows下）
xiaoran_zhu的专栏
12-21 1401
1 安装sbt 官方网站：http://www.scala-sbt.org/  解压下载包，把sbt/bin放到环境变量PATH下便可。 通常先添加环境变量SBT_HOME,再把SBT_HOME/bin添加到PATH中 假设把sbt-0.13.6.tgz解压到F:\sbt\中，设置如下环境变量： 添加到Path中： 找到一下目录 找到文件夹~/.sbt/0.13/pl
如何使用sbt或者maven编译打包运行
qq_44494957的博客
10-15 2387
1 安装编译打包工具 1).安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装 下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中： 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： // An highlighted block #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi
sbt安装配置与打包
kyj3518861703的博客
04-18 6966
一：安装配置 1.下载安装包 官网下载地址：sbt - Download 将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择 2.解压安装包并放在/home/kyj/soft中： tar -zxvf sbt-1.6.1.tgz sbt 3.文件赋予权限 KYJ为系统用户，/home/KYJ/soft/sbt为sbt安装目录 chown -R KYJ /home/KYJ/soft/sbt 4.将位于sbt/bin下面的
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦岚如雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值