spark打包的方式

最新推荐文章于 2024-05-10 08:41:16 发布

这个人很懒i

最新推荐文章于 2024-05-10 08:41:16 发布

阅读量1.2k

点赞数

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/weixin_43874447/article/details/103416505

版权

本文介绍了三种Spark项目打包的方法，包括无需第三方依赖、需要依赖时借助maven插件以及使用IDEA直接打包。在涉及依赖时，特别提到避免重复打包已存在于服务器的依赖以防止版本冲突。通过详细步骤指导，帮助读者理解并掌握Spark项目的不同打包方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1、不需要第三方依赖的情况

直接在项目的根目录下面执行如下命令：

mvn package -DskipTests

在这里插入图片描述

2、需要第三方依赖的情况

此时就需要在pom中添加一个第三方的插件来完成打包

<build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <plugins>
        <!-- 对第三方依赖进行打包-->
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <!-- 打好的jar以jar-with-dependencies结尾 -->
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <!--<manifest>
                          <mainClass></mainClass>
                        </manifest>-->
                </archive>
            </configuration>
            <executions>
                <execution>