Hadoop2.7.7源码编译(Centos6.10)

最新推荐文章于 2019-09-24 10:09:54 发布

原创最新推荐文章于 2019-09-24 10:09:54 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #源码 #编译

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何在Centos6.10系统上编译Hadoop2.7.7源码。首先准备好hadoop-2.7.7-src.tar.gz源码包，解压后查阅BUILDING.txt了解编译要求。接着，确保已安装JDK 1.7+、Maven 3.0+、Findbugs 1.3.9（如果运行findbugs）、ProtocolBuffer 2.5.0、Zlib和openssl-devel（用于编译本地代码），以及ant和snappy。首次编译需要互联网连接以获取所有依赖。编译完成后，整个过程大约需要10分钟。

源码包准备【hadoop-2.7.7-src.tar.gz】

略

解压后找到构建说明【BUILDING.txt】，看一下基本要求都有什么

安装以下软件【以防万一】没有列全：

yum install -y gcc
yum install -y gcc-c++
yum install -y make

* Unix System

Centos6.10

* JDK 1.7+

略

* Maven 3.0 or later

#maven
export M2_HOME=/opt/apache-maven-3.3.9
export PATH=$PATH:$M2_HOME/bin
####################################################
mvn -version

* Findbugs 1.3.9 (if running findbugs)

#findbugs
export FINDBUGS_HOME=/opt/findbugs-3.0.0
export PATH=$PATH:$FINDBUGS_HOME/bin
####################################################
findbugs -version

* ProtocolBuffer 2.5.0

./configure --prefix=/opt/protobuf-2.5.0
make
make check  #可以忽略
make install
####################################################
#proto
export PROTOBUF_HOME=/opt/protobuf-2.5.0
export PATH=$PATH:$PROTOBUF_HOME/bin
####################################################
protoc --version

* Zlib devel (if compiling native code)

yum install -y zlib zlib-devel

* openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance )

yum install -y openssl devel

* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

略

ant

#ant
export ANT_HOME=/opt/apache-ant-1.10.5
export PATH=$PATH:$ANT_HOME/bin
####################################################
ant -version

snappy

./autogen.sh
./configure
make
make install
ls -lh /usr/local/lib | grep snappy

Building:

编译进入/root/hadoop/hadoop-2.7.7-src

export MAVEN_OPTS="-Xms512m -Xmx1024m" #适当调整
mvn package -Pdist,native -DskipTests -Dtar