打包Spark程序并上传到集群

最新推荐文章于 2022-12-14 17:49:06 发布
最新推荐文章于 2022-12-14 17:49:06 发布
阅读量4.4k 收藏 6
点赞数
文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Ym_Allen/article/details/81633164
版权
本文介绍了如何配置Spark、Scala、Hadoop环境，使用IDEA创建Scala工程，添加Spark依赖，编写WordCount实例，打包成jar，并在Spark集群上运行。关键步骤包括匹配版本、构建sbt项目、添加依赖、打包jar以及启动和提交Spark作业。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 前期准备

配置JDK，Scala，Hadoop，Spark运行环境，安装IDEA。

PS：注意spark、Scala、Hadoop之间的版本对应关系，否则可能会报错。

  • 在IDEA中用sbt构建Scala工程

IDEA中点击File->new->Project

之后填写项目名称，存储路径，选择JDK版本，Sbt版本，Scala版本

 

其中Scala版本必须与Spark编译使用的版本一致，可以通过Spark官网查询Scala版本

构建完成后的目录如下

最低0.47元/天 解锁文章
Ym_Allen
关注
SparkCore：IDEA开发Spark程序打包--上传--提交
11号车厢
08-02 383
文章目录1、IDEA的pom.xml文件添加依赖 1、IDEA的pom.xml文件添加依赖 //将版本好添加到这里，后面引用版本变量即可 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.4.0</spark.version> ...
Spark作业提交到集群执行详解
Spark技术咖的博客
08-16 2340
Spark作业提交到集群的命令格式如下 ./bin/spark-submit \ --class &lt;main-class&gt; \ --master &lt;master-url&gt; \ --deploy-mode &lt;deploy-mode&gt; \ --conf &lt;key&gt;=&lt;value&gt; \ ... # other optio...
IDEA spark打包自己定义的jar并上传至集群执行
weixin_33878457的博客
08-24 277
为什么80%的码农都做不了架构师？>>> ...
spark提交集群运行_提交第一个spark作业到集群运行
weixin_39610468的博客
12-30 188
写在前面 接触spark有一段时间了，但是一直都没有真正意义上的在集群上面跑自己编写的代码。今天在本地使用scala编写一个简单的WordCount程序。然后，打包提交到集群上面跑一下...在本地使用idea开发，由于这个程序比较简单，我这里就直接给出代码。 import org.apache.spark.{SparkConf, SparkContext}object WordCount {def...
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
maven打包spark程序并放到集群上运行（超详细！！！）
程序媛媛
09-26 4337
PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。 一、maven的配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...
本地Spark程序提交到hadoop集群运行流程
tf_dev的博客
08-15 2933
1.本地环境准备 本文是将eclipse开发环境下的maven+Spark+scala程序移植到集群环境上执行过程，写的很粗糙，见谅。 本地用eclipse编写Spark小程序，完成从txt文件读取数据操作。 本地maven+Spark+scala环境就不多说了，如果配置出问题，就下载最新的eclipse然后从商店装插件吧。 注意在maven的配置文件pom.xml中插入Spark引用：
在IDEA打包SPARK程序到linux环境下执行
qq_43634424的博客
12-10 2284
IDEA打包spark到linux上运行，亲测有效
使用idea编写spark程序并提交到yarn集群例子
03-16
以下是使用idea编写spark程序并提交到yarn集群的例子： 1. 首先，在idea中创建一个新的maven项目，选择scala语言。 2. 在pom.xml文件中添加以下依赖： ``` <groupId>org.apache.spark <artifactId>spark-...
Spark项目打包优化实践
愤怒的小兵
12-28 597
问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消耗多很多时间，因此需对此过程进行优化。 优化方案 方案1：一次全量上传jar包，后续增量更新class POM文件配置（Maven） <dependencies> <dependency> <groupId>org.apache.spark</groupId>
Spark 部署方法
zhengcaihua0的博客
03-26 626
转载：https://blog.youkuaiyun.com/weixin_36394852/article/details/76030317Spark安装之前的准备文件的解压与改名tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz1rm -rf spark-2.2.0-bin-hadoop2.7.tgz1为了我后面方便配置spark，在这里我把文件夹的名字给改了mv spark-...
Spark - 集群与本地提交Spark任务问题记录
大数据研究小白
09-01 1609
Idea本地远程提交Spark任务，方便调试
spark依赖、打包、上传、运行
yan_yixin的博客
10-21 332
spark依赖、打包、上传、运行Eclipse Eclipse 1.解压所需要的lib目录 2.将整个文件复制粘贴到项目中 3.将lib包里的依赖全选进行包操作 4.出现一个新的lib依赖包 5.写完代码将需要的项目打包 6.选择jar包地址后执行下一步操作选择mian方法的class 7.之后将打包的代码以及数据上传到集群上 8.将数据放hdfs上 9.进入到spark的bin目录下 10.然后执行jar包将输出的文件写入到hdfs上 11.执行成功后在hdfs上查看数据 N
在local模式下的spark程序打包到集群上运行
weixin_30493401的博客
05-06 388
一、前期准备 　　前期的环境准备，在Linux系统下要有Hadoop系统，spark伪分布式或者分布式，具体的教程可以查阅我的这两篇博客： Hadoop2.0伪分布式平台环境搭建 Spark2.4.0伪分布式环境搭建 　　然后在spark伪分布式的环境下必须出现如下八个节点才算spark环境搭建好。 　　 　　然后再在本地windows系统下有一个简单的词频...
conda打包pyspark运行环境在yarn上运行
java技术分享
12-14 603
conda打包pyspark运行环境在yarn上运行
pyspark 任务提交 依赖打包
lmb09122508的博客
11-28 6638
如果是一个简单的应用，没用多余的依赖，则可以直接提交就行了： spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.executor.memoryOverhead=4096 --executor-memory 2G --num-executors 4 --executor-cores 2 --driv...
spark项目打包流程
千淘万漉
11-22 1557
注意：在windows系统上测试spark代码时如果报缺少winutils.exe的错误，下载下面文件然后解压，需要在程序运行的开始加上   System.setProperty("hadoop.home.dir", "xxx/hadoop-common-2.7.3-bin-master") 文件链接：  hadoop-common-2.7.3-bin-master.zip 打包流程 1...
Spark pyspark package
power0405hf的专栏
11-12 2496
1. contentsPySpark是Spark的PythonAPI。 公共类： SparkContext: Spark运行的主要集成类。 它负责与Spark集群的connection，并且负责数据的生成和计算，以及其中的task的调度。 RDD：弹性分布式数据集，Spark中的基础抽象，Spark支持对RDD进行两类操作：transformations和actions。根据已经存在的数据集创建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值