spark入门，提交一个 SimpleApp jar包到linux上的spark

最新推荐文章于 2023-04-26 08:46:07 发布
最新推荐文章于 2023-04-26 08:46:07 发布
阅读量2.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvsehuoyan/article/details/43016799
本文档介绍了如何在Linux上安装Scala和Spark，创建Maven项目，编写SimpleApp，打包成jar，以及如何提交jar包到Spark运行。通过这个过程，初学者可以了解Spark应用的基本提交流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark中文文档没出来前，学习英文很痛苦，分享下自己的学习，好了，上内容，搞完继续去看传说中的english！

一、前提条件

linux 安装 scala   和 spark

scala

二、创建一个maven项目

SimpleApp.java

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark进阶之路-Spark提交Jar包执行
weixin_34075268的博客
08-12 4111
　　　　　　　　　　　　Spark进阶之路-Spark提交Jar包执行 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。   　　在实际开发中，使用spark-submit提交jar包是很常见的方式，因为用spark-shell来开发项目是很苦难的（一般都用IDE），当我们开发程序完毕后，需要打成jar包。  ...
创建spark项目打包成jar包(maven打包)
wjm_520的博客
05-16 2739
创建spark项目打包成jar包(maven打包) 安装Maven 1.下载安装包 官方：官方链接，点击下载。 百度云：百度云链接 提取码：wy98 2.解压和安装maven 3.6.3 sudo unzip ~/下载/apache-maven-3.6.3-bin.zip -d /usr/local #解压到usr/local目录 cd /usr/local sudo mv apache-maven-3.6.3/ ./maven #重命名 sudo chown -R hadoop ./mave
Spark集群中使用spark-submit提交jar任务包实战经验
热门推荐
一路风景
01-03 4万+
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - 优快云.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
spark源码（一）spark-submit如何将jar以及配置参数提交给spark服务器
Interest1_wyt的博客
06-12 3245
spark-submit提交任务给spark服务器
Spark-提交应用
weixin_54354021的博客
04-06 288
spark提交应用
提交Spark应用程序
梁辰兴的博客
04-26 1841
提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Pi is roughly 3.1424157120785603”，说明Pi值已经被计算完毕。除了–master参数外，spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
xby18772963985的博客
01-06 2550
Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。 在大数据平台中，Spark是以Spark on YARN的方式运行
实验七：Spark初级编程实践
07-15
- `SimpleApp` 读取 HDFS 文件 `/user/hadoop/test.txt` 并统计行数，这通过 `sbt package` 打包成 JAR，再使用 `spark-submit` 提交到 Spark 集群执行。 - `RemDup` 应用实现了合并两个文件并去除重复项的功能，...
spark 提交任务时出现问题
songweiren1的博客
11-26 3396
[li@storm333 spark-standalone]$ ./bin/spark-submit --class com.atguigu.spark.test.spark_Jni_VectorAdd --master spark://storm333:7077 ./MyProjects/SparkJNIVectorAdd/spark-core-1.0-SNAPSHOT.jar 21/11/26 16:14:56 WARN NativeCodeLoader: Unable to load native.
提交并执行spark的jar包流程及注意事项
Zero小猿的博客
02-16 3815
1. 前言   主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观； 2. 步骤 2.1 打包   我是直接用idea打包，没有用maven。 项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK
spark-java-sample:使用Spark Java的示例项目
05-19
sparkjava样本 使用示例Java项目。
spark提交jar到集群环境的步骤和注意事项
liaomingwu的专栏
02-23 2256
spark提交jar到集群环境的步骤和注意事项
spark例子SimpleApp运行错误
u013887486的博客
11-17 5111
在运行spark文档quick start里面的一个例子的时候，出现了如下错误： Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;     at org.apache.s
关于spark利用jar包跑job的一些总结（二）
chengxue5yuan的专栏
08-31 821
利用scalac以及jar命令得到spark上可运行的jar包需要提前准备的： 1. JDK环境。 2. Scala环境，在此不多赘述，自行查找配置。（个人建议用2.10.*版本。之前用2.11版本，发现与spark-assembly那个jar包中的Scala环境不匹配，出现奇葩的错误）。 3. spark api即spark-assembly*.jar包（找不到的可以在服务器上或者你的
Spark基础操作（一）
m0_67394360的博客
08-24 523
前言：我们来学习Spark基础吧!我使用的是spark1.6.2，下载地址 我们直接下载，然后解压。我们看看里面的目录我们运行bin/pyspark之后就进入了spark的python shell。我们为了验证是否成功了，可以运行下面的代码 接下来就会看到打印出一条信息：# Apache Spark。 spark提供的python shell是我们良好的学习平台。我们可以在里面随意的调用spark提供的API。可能有些同学已经习惯了IDE带来的好处(例如我)，所以也希望能通过IDE来进行学习和开发。 但是
shell spark 导入包_Spark入门介绍
weixin_28721743的博客
12-31 628
本篇是介绍Spark的入门系列文章，希望能帮你初窥Spark的大门。一 Spark概述1.1 什么是Spark？Spark是一种基于内存的快速，通用，可扩展的大数据计算引擎框架。由于MapReduce计算框架在Map和Reduce阶段存在大量的shuffle操作以及IO操作，导致MapReduce的效率一直被很多同学吐槽，而Spark计算框架一定程度下减了shuffle及写入磁盘操作，因...
shell spark 导入包_Spark Shell简单使用
weixin_36124888的博客
12-24 844
scala>valtextFile=sc.textFile("file:///home/hadoop/hadoop/spark/README.md")16/07/2403:30:53INFOstorage.MemoryStore:ensureFreeSpace(217040)calledwithcurMem=321016,maxMem=28024897516/07/2...
【问题解决】python任务提交到spark集群报错，提交本机没问题：requirement failed: Can only call getServletHandlers on a runni
nazhidao的专栏
04-17 1万+
在Pycharm里执行python程序提交到spark集群一直报错：requirement failed: Can only call getServletHandlers on a running MetricsSystem本地提交到本机Spark没问题。代码片段如下，用的spark官网的例子（点击打开链接）：logFile = "/home/ubutnu/spark_2_2_1/README....
spark-submit运行jar包脚本命令
叶不二
08-14 1万+
找到spark-submit文件的目录 目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数： --master spark集群
虚拟机Spark集群运行jar包
最新发布
04-01
### 如何在虚拟机 Spark 集群上运行 JAR 包 要在虚拟机上的 Spark 集群中运行 JAR 包，通常需要完成以下几个方面的操作： #### 1. 准备工作 确保 Spark 已经正确安装并配置在虚拟机集群环境中。这包括 Master 和 Slave 节点之间的网络通信正常以及 Hadoop 的正确配置[^4]。 #### 2. 构建 Scala 或 Java 项目 使用 IntelliJ IDEA 创建一个 Scala 项目（推荐），或者 Maven/Gradle 项目来编写 Spark 应用程序代码。如果遇到依赖问题，可以通过手动导入 Spark 安装包中的 jar 文件解决[^2]。 #### 3. 打包应用程序 通过 IntelliJ IDEA 将开发好的 Spark 程序打包成可执行的 fat-jar (uber-jar)，其中包含了所有的依赖项。具体步骤如下： - 在 IDEA 中右键点击项目 -> Add Framework Support -> 添加 Artifact。 - 设置 Main Class 并指定输出路径。 - 使用 `Build` 功能生成最终的 jar 文件[^3]。 #### 4. 提交作业至 Spark Cluster 将构建好的 jar 文件上传到目标服务器（通常是 Master 节点）。可以利用 SCP 命令或其他工具实现文件传输。之后，在命令行界面输入以下格式启动应用： ```bash spark-submit \ --class com.example.MainClass \ --master spark://<Master_IP>:7077 \ /path/to/application.jar arg1 arg2 ... ``` 上述参数解释如下： - `--class`: 指定入口类名； - `--master`: 明确指明使用的 master URL 地址； - `/path/to/application.jar`: 表示实际的应用程序位置及其名称； - `arg1`, `arg2`: 可选参数传递给 main 方法[^1]。 注意：对于 Windows 用户来说可能还需要额外处理一些兼容性问题比如 winutils.exe 的缺失情况。 #### 5. 远程调试支持（可选项） 为了方便排查错误信息，可以在本地设置断点并通过 IDE 实现远程调试功能。此过程涉及调整 JVM 启动脚本加入相应监听端口等内容。 --- ### 示例代码片段 下面是一个简单的 WordCount 示例用于演示如何创建 Spark Application: ```scala import org.apache.spark.sql.SparkSession object SimpleApp { def main(args: Array[String]): Unit = { val logFile = args(0) // Should be some file on your system val spark = SparkSession.builder.appName("Simple Application").getOrCreate() val logData = spark.read.textFile(logFile).cache() val numAs = logData.filter(line => line.contains("a")).count() println(s"Lines with a: $numAs") spark.stop() } } ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值