【spark 虚拟机模式】提交maven项目的jar运行

玄月无疆

于 2021-07-16 11:07:13 发布

阅读量368

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark maven

本文链接：https://blog.youkuaiyun.com/echo245/article/details/118787746

本文档介绍了如何将一个maven构建的Spark项目打包成jar，然后将其上传到虚拟机，并通过`spark-submit`命令在本地模式下运行，核数设置为2，展示了完整的提交及运行流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.maven项目

pom.xml

 <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
<!--            <scope>provided</scope>-->
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <!--程序入口,jar的主函数-->
                        <manifest>
                            <mainCl