6.编写Spark独立应用程序(sbt)（华为云学习笔记，Spark编程基础，大数据）

原创 已于 2022-06-13 15:47:51 修改 · 1.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #hadoop

于 2022-06-13 15:26:35 首次发布
本文详细介绍了如何使用Scala编写Spark独立应用程序，并利用sbt工具进行编译打包。首先，讲解了sbt作为Scala构建工具的作用，然后指导读者安装sbt，创建Spark应用程序目录结构，编写SimpleApp.scala代码，计算文件中特定字符出现的次数。接着，通过sbt打包应用程序为JAR包，最后演示如何使用spark-submit运行打包后的程序，过滤输出信息。

编写Spark独立应用程序(sbt)
① 使用Scala语言编写Spark独立应用程序；
② 使用sbt工具对Spark应用程序进行编译打包。
实验原理
-> sbt
SBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利，但它是一个通用的构建工具。可以使用sbt工具，对采用Scala语言编写的Spark应用程序进行编译打包。

1. 安装sbt工具
下载安装包请打开浏览器访问如下链接进行下载

拷贝代码
http://file.ictedu.com/fileserver/big_data_common/data/sbt-launch.jar
下载后的安装包保存在/home/user/Downloads目录下。
在这里插入图片描述

∥ 拷贝安装文件到sbt安装目录
打开Terminal，登录hadoop用户（su - hadoop）
安装文件位于当前登录Linux系统的用户的主目录的“下载”目录下。这里把sbt安装到“/usr/local/sbt”目录下，请使用hadoop用户登录Linux系统，新建一个终端，在终端中执行如下命令：

拷贝代码
sudo mkdir /usr/local/sbt
拷贝代码
sudo chown -R hadoop /usr/local/sbt
拷贝代码
cd /usr/local/sbt
cp /home/user/Downloads/sbt-launch.jar .

最低0.47元/天 解锁文章
Spark为什么读不了hdfs上的数据？如何解决？
**My Coding Family**
12-16 1075
🏆本文收录于专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家！持续更新中，up！up！up！！
【Spark独立应用程序编程】
m0_65640335的博客
03-18 1344
在这种设置下，比较适合采用client模式，在client模式下，Driver直接在spark-submit进程中启动，这个进程直接作为集群的客户端，应用程序的输入和输出都和控制台相连接。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在启动 Spark shell 的过程中，从屏幕的显示信息中找到。代码第8行的/usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。后面再次运行就很快了。
Spark读取文件系统的数据(sbt打包测试)-入门级别Demo
python8181的博客
03-21 607
下载sbt安装文件sbt-1.3.8.tgz，也可直接使用已经下载好的安装文件。安装scala程序的构建工具sbt，可以到。操作系统：Ubuntu 16.04；Hadoop版本：3.1.3。,然后，统计出文件的行数；工具将整个应用程序编译打包成。Spark版本：2.4.0；语言），读取HDFS系统文件。2.下面使用vim编辑器在。,然后，统计出文件的行数。中读取HDFS系统文件。编写独立应用程序（使用。生成的JAR包的位置为。
编写Spark独立应用程序
浅暖的博客
04-18 1669
执行本文之前，先搭建好spark的开发环境，我目前只搭建了standalone模式，参考链接 ：1）下载sbt网址：https://www.scala-sbt.org/download.html ，下载sbt-1.8.3.tgz。2）将下载好的安装包拷贝到共享文件夹，3）解压到/usr/local4）修改权限5）将bin目录下的sbt-launch.jar复制到sbt的安装目录下6) 创建脚本/usr/local/sbt/sbt，添加如下内容：7) 修改权限8) 检验 sbt 是否可用。
SBT（Scala Build Tool）实战指南
最新发布
gitblog_00214的博客
11-15 746
SBT，全称 Scala Build Tool，是用于Scala项目的强大构建工具，同时也广泛支持Java和其他语言的构建。它利用Scala语言本身的灵活性和表达力，提供了一个高效且高度可定制的构建平台。SBT的核心特性包括依赖管理和 incremental compilation，这大大加速了开发周期。通过基于Scala的DSL，开发者可以轻松地定义项目构建规则，实现复杂的构建逻辑。 ## 项
5.编写Spark独立应用程序(Maven)（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-10 1212
实验拓扑图 编写Spark独立应用程序(Maven) ① 使用Scala语言编写Spark独立应用程序； ② 使用Maven工具对Spark应用程序进行编译打包。 实验原理 -> Maven Maven是一个项目管理工具，它包含了一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(
Spark独立应用程序编程
hello,world.
04-11 1344
（一）编写Scala独立应用程序 安装sbt sbt（Simple Build Tool）是对Scala或Java语言进行编译的一个工具，类似于Maven或Ant，需要JDK1.8或更高版本的支持，并且可以在Windows和Linux两种环境下安装使用。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt.tgz，保存到下载目录。 /home/CCX/software/sbt 接着在安装目录中使用下面命令创建一个Shell脚本文件，用于启动sbt：vim
Spark独立应用的创建
浪灬迹-红尘少年的博客
03-06 323
下载IntalliJIDEA 创建Scala工程（略） 新建工程-创建Maven工程； 导入scala包 加载spark-core_2.11依赖库 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</art...
Linux下spark独立应用程序编程（参考林子雨老师配置）
风
04-27 959
在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。下面就是笔者在启动过程当中，看到的相关版本信息（备注：屏幕显示信息会很长，需要往回滚动屏幕仔细寻找信息）。对于刚安装好的Spark和sbt而言，第一次运行上面的打包命令时，会需要几分钟的运行时间，因为系统会自动从网络上下载各种文件。后面再次运行上面命令，就会很快，因为不再需要下载相关文件。
7.读写HBase数据（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-13 887
读写HBase数据 ① 在hbase-shell中使用命令创建HBase数据库； ② 使用Spark读写HBase数据库中的数据。 实验原理 -> HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。-> hbase-shell hbase-shell是一种HBase交互式操作环境，可以在其中输入命令，完成数据库创建和
大数据Spark实战高手之路职业学习路线图
大数据Spark教程详解
02-10 1765
从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试，一次性彻底掌握Spark，成为云计算大数据时代的幸运儿和弄潮儿，笑傲大数据职场和人生！ 学习目标： 1、掌握Scala； 2、精通Spark企业及开发； 3、精通Spark框架源...
使用scala编写spark任务，在华为云运行报错，说是因为file临时文件过多超过阈值了，怎么缩小临时文件个数
11-12
我们面对的问题是：Scala编写的Spark任务在华为云运行因临时文件过多超过阈值报错，需要缩小临时文件个数。 根据Spark的工作原理，临时文件通常由以下几个原因产生： 1. Shuffle操作（如groupByKey, reduceByKey, ...
spark配置(5)-独立应用程序
06-25 313
独立应用程序（Self-Contained Applications）现在基于一个简单的APP，通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-submit 直接提交。PS:好像spark2.0支持RDD以外的一种数据集（DataSets）...
spark应用程序开发总结
austboy123的博客
03-12 436
1.静态变量取不到值，报空指针异常 出现这种情况主要原因： rdd的操作中去读取配置文件中的值，如：public static float col1= Float.valueOf(RESOURCE_BUNDLE.getString("col1"));解决办法：把操作rdd的方法抽取到一个单独的类中，让该类实现序列化接口，把变量通过构造函数或者函数参数传到该类中。 2.spark sql，...
Spark基础知识28_Spark Shell及编写Spark独立应用程序
Matrix70的博客
06-09 451
一个线程启动一个任务物理CPU包含多个逻辑CPUlocal是本地的单机模式集群模式就是下面的，集群模式有三种：Standalone,Yarn,Mesosyarn-client与yarn-cluster的区别就是driver所在地不一样。
利用Scala语言开发Spark应用程序
zyj8170的专栏
05-08 1060
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark的三种典型应
使用sbt编写Spark独立应用程序
qq_53336526的博客
07-14 762
使用Scala编写的程序需要使用sbt进行编译打包，相应的，java程序使用Maven编译打包，而Python程序通过spark-submit直接提交。（访问sbt版本时，sbt将通过访问国外网站下载需要的内容，所以如果没有开代理的话，可能会出现卡住的情况，建议开启梯子后执行此步）利用SparkContext对象中的textFile()函数，读取了包含文本内容的文件，并将其转换为RDD对象。原因也和先前查看sbt版本遇到的问题一样，在sudo的权限下，系统的环境变量发生了变化，导致找不到java命令。
用Scala语言编写Spark独立应用程序WordCount
LSlscool的博客
05-22 1262
编程实现WordCount计算 在终端中执行如下命令创建一个文件夹sparkapp1作为应用程序根目录 cd ~ # 进入用户主文件夹 mkdir ./sparkapp1 # 创建应用程序根目录 mkdir -p ./sparkapp1/src/main/scala # 创建所需的文件夹结构 在/sparkapp1目录下创建一个文本文件word.txt，其内容如下 使用vim编辑器在/sparkapp1/src/main/scala目录下建立一
用Scala语言编写Spark独立应用程序Pi
LSlscool的博客
05-22 1540
编程实现圆周率Pi的计算 在终端中执行如下命令创建一个文件夹sparkapp作为应用程序根目录 cd ~ # 进入用户主文件夹 mkdir ./sparkapp # 创建应用程序根目录 mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构 为了能够使用sbt对Scala应用程序进行编译打包，需要把应用程序代码存放在应用程序根目录下的src/main/scala目录下。 使用vim编辑器在/sparkapp
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值