IntelliJ IDEA环境中打包+上传主机,spark-submit提交执行

本文详细介绍了如何使用 IntelliJ IDEA 对 Scala 项目进行打包,并通过 spark-submit 命令在本地环境中运行。从配置 Artifact 到添加依赖 Jar 包,再到执行命令,一步步引导读者完成整个过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、IntelliJ IDEA打包

打包操作流程:

选择"File"——>"Project Structure"命令,然后选择"Artifact",单击"+"按钮,选择

"Jar"——>"From Modules with dependencies",如图所示,单击"OK"


在下图中选择主函数


在下图界面中选择需要添加的Jar包,我在打包的时候添加了scala.sdk,跟spark的Jar包,至于,不添加,是否能够执行,有兴趣的童鞋

可以试试

在主菜单中选择"Build"——>"Build Artifact"命令,编译生成Jar包

然后去工作区间的out文件夹中找到jar文件,上传到主机

2、spark-submit执行

./spark-submit --master local[*] --jars /home/songsf/spark/sp*/lib/spark-assembly-1.3.0-hadoop2.4.0.jar --class lesson01.Test /home/songsf/java/scala_learn.jar

执行此命令,首先要cd 到bin目录下,也可以通过添加路径的方式执行,–master local[*]指定主机位置为本地,因为我们只有一台主机,属于伪分布式,所以采用local

--class 指定jar保重的主函数      --jars 指定所依赖的jar包



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值