idea打spark jar包并提交到spark集群运行

最新推荐文章于 2023-06-14 15:49:49 发布
原创 最新推荐文章于 2023-06-14 15:49:49 发布 · 3.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在IntelliJ IDEA中为Spark应用程序打包并构建JAR文件，包括排除第三方依赖项以避免集群冲突，以及如何通过spark-submit命令正确提交作业。

打包

打包文件：
File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices 

 


点击Output Layout  看看是否没有第三方jar包，因为你使用spark集群环境，所以你不需要第三方jar包


 


重新build：
Build-->>Build Artifcat ..--->>build 或者rebuild


 


 


 

提交运行

./bin/spark-submit  --class "sparkStreaming.workCount" --master local[4]  /usr/local/spark_jar/wordCount.jar

--class 后边是你打包时候的主函数

最后是你放jar包的位置，这个位置可以是任意位置

使用idea编写spark程序并提交到yarn集群例子
光于前裕于后的博客
03-04 3966
需提前安装jdk、scala 1.创建新项目 2.增加Maven 3.修改pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4
IDEA远程提交运行HDFS的Spark程序
weixin_41008393的博客
01-16 2419
之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。 我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。 参...
Idea打包jar包
04-13
利用idea本身软件打包方式打包。
Spark的三种提交方式（基于IDEA）
Devin
12-01 656
0、创建了一个Maven工程 将一些暂时无关的文件和文件夹删除掉，主要有 main\java, main\resources 和 test 这三个； 将Scala的框架添加到这个项目中，方法是在左侧栏中的项目名称上右键菜单中点击Add Framework Support…，然后在打开的对话框左侧边栏中，勾选Scala前面的复选框，然后点击确定即可（前提是上文中所述步骤都已正确走通，否则你很有可...
idea打jar包与spark-submit提交集群
刘s泽
11-21 666
一、idea打包 1.project Structure中选择Aritifacts 2.选择+号新建一个要打的jar包 删除除了 compile output之外的集群中已经存在的jar包，除非引入了集群中不存在的jar包 3.选择设置主类，再build->build Aritifacts即可 二、spark-submin提交集群命令 使用yarn管理集群资源： spark-submit -...
在IDEA中直接提交Spark任务
淡定一生2333的博客
06-28 2220
如果在本地安装了Spark,那么就不需要在本地启动一个类似tomcat或者jetty的server如果没有一般会启动一个jetty,否则无法和Spark通信 这里所说的本地提交是指submit到Spark集群计算环境上的job,也就是一个Jar包,虽然拥有main方法,但是不能再IDEA中直接右键main函数来debug运行.因为不是一个独立的可运行的程序,而是运行在Spark环境上的,由另外一个...
精选资源
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
Spark代码打包上传到集群中运行时报错ClassNotFoundException
一纸春秋的博客
01-04 1971
首先准备代码 import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object demo4OnHive { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .appName("demo4OnHive") .config("spark.sql.shuffl
spark集群版运行jar包
m0_65548365的博客
05-21 1032
默认以及按照好了Hadoop的环境和spark环境以及idea环境。这是上面代码中编写的输出路径。不进行此步骤的话在服务器运行会出错。表示主类入口，就是上图中的主类是。信息，等待几秒后即可关闭。，运行成功后出现红色的。
spark编程01——IDEA创建项目打包到集群中运行
SYITwin的博客
03-03 2411
一.IDEA打包过程： 1.新建一个测试程序： package com.sparkcore import org.apache.spark.{SparkConf, SparkContext} import scala.math.random object Test_jar { def main(args: Array[String]): Unit = { val spark = new SparkContext(new SparkConf().setAppName("SparkPi02".
使用Intellij IDEA开发并提交Spark应用到远程Spark集群
热门推荐
Camu7s的专栏
05-06 1万+
使用Intellij IDEA开发Spark应用，并提交到远程Spark集群执行通常我们写了一个spark程序，总是需要将程序打成jar包然后提交到集群执行，这样很麻烦，因此本文想说明通过像在eclipse中远程开发和执行Hadoop Job一样，使用Intellij IDEA开发Spark应用，并能够直接在IDE中提交作业到远程集群去执行，在console中看到输出结果或者各种错误原因。环境与工具
将IDEA创建的Spark程序打jar包，并上传集群运行
bai1cai1的博客
07-19 435
1. 打包过程 此内容是接着上一篇 的，需将WordCount.Scala程序稍作修改，并将“.setMaster(“local”)”改为备注。 package abc import org.apache.spark.{SparkContext, SparkConf} object WordCount { def main(args: Array[String]) { /** ...
idea打包spark程序在集群上运行过程(1)
qq_39484734的博客
10-24 1475
第一步：   第二步： 第三步： 第四步： 第五步：   spark-submit --master yarn --deploy-mode cluster --driver-memory 4G --executor-memory 5g --num-executors 10 --conf nf spark.yarn.executor.memoryOverhearhe...
Intellij IDEA编写Spark应用程序的环境配置和操作步骤
Where runes of code shape the picture :)
06-14 7125
在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行
spark--IntelliJIdea中jar包提交到spark报错解决
prettysky123的专栏
01-26 968
在IntelliJ上利用Maven开发spark程序，今天遇到一个问题：在IntelliJ上可以运行的程序，利用Bulid Artifacts来打好jar包之后，再用spark-submit 提交运行之后老是报错： $ spark-submit --class MySpark --master local sparktest.jar SLF4J: Class path contains m
WorldCount程序打jar包在Spark集群上运行
qq_45578476的博客
11-28 310
参照WorldCount在Spark shell中的运行（对比学习） 写WorldCount程序（IDEA） 前期准备：新建maven工程，在pom中加入相关配置：(注意相对应的版本) <properties> <maven.compiler.source>1.8</maven.compiler.source> <mav...
提交并执行spark的jar包流程及注意事项
Zero小猿的博客
02-16 3876
1. 前言   主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观； 2. 步骤 2.1 打包   我是直接用idea打包，没有用maven。 项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK
【Idea 打包spark程序，集群模式下运行】
weixin_43887873的博客
05-29 2227
由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。 重试一次，自定义jar包程序运行。 1.建立scala项目 2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) main class，这边自动给我识别， 然后删除，除项目jar包以外的所有依赖，【集群环境里.
spark-运行 jar 包
杜海的博客
11-08 8371
spark jar 本非方式运行 首先我们通过帮助命令来看spark 如何提交执行jar包 spark-submit --help spark-submit 详细参数说明 --master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local --deploy-mode 在本地 (client) 启动 dr...
idea打包jar包到spark运行
06-28
4. 将生成的jar包上传到Spark集群中。 5. 在Spark集群中运行以下命令： ``` spark-submit --class com.example.Main --master yarn --deploy-mode cluster /path/to/jar ``` 其中，com.example.Main是Main类...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值