1、IntelliJ IDEA打包
打包操作流程:
选择"File"——>"Project Structure"命令,然后选择"Artifact",单击"+"按钮,选择
"Jar"——>"From Modules with dependencies",如图所示,单击"OK"
在下图中选择主函数
在下图界面中选择需要添加的Jar包,我在打包的时候添加了scala.sdk,跟spark的Jar包,至于,不添加,是否能够执行,有兴趣的童鞋
可以试试
在主菜单中选择"Build"——>"Build Artifact"命令,编译生成Jar包
然后去工作区间的out文件夹中找到jar文件,上传到主机2、spark-submit执行
./spark-submit --master local[*] --jars /home/songsf/spark/sp*/lib/spark-assembly-1.3.0-hadoop2.4.0.jar --class lesson01.Test /home/songsf/java/scala_learn.jar
执行此命令,首先要cd 到bin目录下,也可以通过添加路径的方式执行,–master local[*]指定主机位置为本地,因为我们只有一台主机,属于伪分布式,所以采用local
--class 指定jar保重的主函数 --jars 指定所依赖的jar包