hadoop 2.7.4 源码编译

1 到hadoop官网网站下载hadoop- -2.7.4-src.tar.gz

2 解压hadoop- -2.7.4-src.tar.gz

3 安装jdk，再/etc/profile末尾加入

export JAVA_HOME=/opt/jdk1.8.0_102

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export JRE_HOME=/opt/jdk1.8.0_102/jre

export PATH=$PATH:$JRE_HOME/bin

其中/opt为jdk的路径

4 安装一下库

yum -y install svn ncurses-devel gcc*

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

5 安装protobuf-2.5.0.tar.gz（注意版本必须是2.5.0）

计入protobuf目录，使用命令

./configure

make

make install

再在/etc/profile后面加入

export PATH= /home/work /protobuf/bin:$PATH加入到环境变量中

最后输入  protoc --version命令，如显示libprotoc 2.5.0则安装成功

6 安装maven，下载apache- maven- 3.3.5- bin.tar.gz，解压

再在/etc/profile后面加入

export MAVEN_HOME=/opt/apache-maven-3.3.5

 

export MAVEN_OPTS="-Xms256m -Xmx512m"

 

export PATH=$PATH:$MAVEN_HOME/bin

7 安装ant

下载apache-ant-1.9.4-bin.tar.gz

，在/etc/profile文件末未添加：

 

export ANT_HOME=/opt/apache-ant-1.9.4

 

export PATH=$PATH:$ANT_HOME/bin

8 安装findbugs

下载findbugs-3.0.1.tar.gz

在 /etc/profile 文件末尾添加：

 

export FINDBUGS_HOME=/opt/findbugs-3.0.1

 

export PATH=$PATH:$FINDBUGS_HOME/bin

9 

进入到hadoop-2.7.3-src目录

vim /hadoop-common-project/hadoop-common/pom.xml 

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-annotations</artifactId>
<scope>compile</scope>
</dependency>

将节点hadoop-annotations的值由provide 改成compile

 

使用命令：

 

mvn clean package –Pdist,native –DskipTests –Dtar

 

或者：

 

mvn package -Pdist,native -DskipTests -Dtar

 

进行编译。

 

将hadoop源码带入eclipse

1、进入hadoop-maven-plugins文件夹，执行 mvn install 

2、返回源码根目录，执行 mvn eclipse:eclipse –DskipTests 

3、eclipse：File->inport->Existing Projects into WorkSpace->Hadoop源码根目录       

编译工程

project->clean..->clean all projects & Build the entire workspace