hadoop2.6.0编译使用

最新推荐文章于 2021-02-15 23:52:47 发布

原创最新推荐文章于 2021-02-15 23:52:47 发布 · 330 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

分布式数据专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了Hadoop2.6.0源码的下载与编译过程，包括环境变量设置、所需依赖软件安装、Maven项目的创建及依赖配置。同时提供了如何通过Maven Assembly插件来构建包含所有依赖的单个可执行JAR文件的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，下载hadoop2.6.0-src源码
2，环境变量设置
java jdk1.7
maven
protobuf2.5.0
依赖一些编译软件可以使用： $sudo apt-get install build-essential

ant1.8
3，安装到本地库
mvn install -DskipTests
4,打包
mvn package -Pdist,native -DskipTests -Dtar
5,创建mvn项目，并依赖hadoop的jar包（按需）
编写mr程序
6，创建包含所有依赖（jar），脚本，配置文件的jar
、使用mvn assembly

 <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <finalName>gmt</finalName>
                    <archive>
                        <manifest>
                            <mainClass>
                                com.xxx.GMT
                            </mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>
                            jar-with-dependencies
                        </descriptorRef>
                    </descriptorRefs>
                </configuration>
            </plugin>
        </plugins>
    </build>

运行：mvn assembly:assembly
产生的xx-jar-with-dependencies-xx.jar
这个jar就可以在hadoop环境中运行


**

注：mvn中的依赖如果scope是system，test等使用assembly不能包含进jar包，
最好的方式是使用mvn install:install-file -Dfile=xx -DgroupId=xx -DartifactId=xx -Dversion=xx 安装到本地mvn库中