HDFS提交到服务器提示找不到第三方jar，通过maven-assembly-plugin自定义打包

最新推荐文章于 2023-05-25 11:40:06 发布

muyingmiao

最新推荐文章于 2023-05-25 11:40:06 发布

阅读量1.1k

点赞数 1

分类专栏： IDEA Hadoop

本文链接：https://blog.youkuaiyun.com/muyingmiao/article/details/101028968

版权

当在Hadoop集群上执行包含第三方库（如fastjson）的MapReduce程序时，可能会遇到ClassNotFoundException。为了解决这个问题，可以使用maven-assembly-plugin进行自定义打包。在pom.xml中添加插件配置，并创建assembly.xml来包含所有依赖。打包后，IDEA通过maven生成的自定义包能够在集群上成功运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop程序引入第三方依赖包fastjson，打包MapReduce程序，到集群上执行，或者在IDEA直接提交到YARN都报Error: java.lang.ClassNotFoundException: com.alibaba.fastjson.JSON...这个错误
通过maven-assembly-plugin自定义打包解决此问题
首先在pom.xml文件中添加插件声明：

<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <descriptors>
                        <descriptor>src/assembly/assembly.xml</descriptor>
                    </descriptors>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <mainClass>com.wxx.bigdata.mr.ETLApp</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>

最低0.47元/天解锁文章