【spark 虚拟机模式】提交maven项目的jar运行

最新推荐文章于 2024-09-03 09:48:55 发布

原创

最新推荐文章于 2024-09-03 09:48:55 发布 · 392 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #maven

本文档介绍了如何将一个maven构建的Spark项目打包成jar，然后将其上传到虚拟机，并通过`spark-submit`命令在本地模式下运行，核数设置为2，展示了完整的提交及运行流程。

1.maven项目

pom.xml

 <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
<!--            <scope>provided</scope>-->
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <!--程序入口,jar的主函数-->
                        <manifest>
                            <mainCl