centos hadoop3.1.1编译

最新推荐文章于 2022-05-22 06:39:45 发布

转载最新推荐文章于 2022-05-22 06:39:45 发布 · 1.7k 阅读

文章标签：

#centos # hadoop3.0 #编译

环境

centos6.5

hadoop-3.1.1-src.tar.gz

安装编译依赖

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

升级cmake版本

yum erase cmkae

下载 3.1以上cmake版本

解压

创建超链接

ln -s /app/cmake-3.12.1-Linux-x86_64/bin/* /usr/bin/

jdk安装

jdk版本为1.8及以上，采用 jdk1.8.0_121

编辑/etc/profile 再文件最后加入

export JAVA_HOME=/usr/java/jdk1.8.0_121
export JRE_HOME=/usr/java/jdk1.8.0_121/jre/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

使修改生效

source /etc/profile

安装protobuf

下载安装包

https://github.com/google/protobuf/releases?after=v3.0.0-alpha-4.1 找到相应的版本下载

依次执行以下命令

unzip protobuf-2.5.0.zip

cd protobuf-2.5.0

./configure 

make

make install

ldconfig

protoc --version

配置ant

下载ant的binary包

http://mirrors.hust.edu.cn/apache//ant/binaries/apache-ant-1.10.5-bin.zip

unzip apache-ant-1.10.5.zip

vi /etc/profile

export ANT_HOME=/app/apache-ant-1.10.5

PATH=$PATH:$ANT_HOME/bin

配置maven

下载maven的bin包

http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz

tar zxvf apache-maven-3.5.4-bin.tar.gz 

vi /etc/profile

export MAVEN_HOME=/app/apache-maven-3.5.4

export PATH=$PATH:$MAVEN_HOME/bin

配置findbugs（非必须）

下载bin包

https://jaist.dl.sourceforge.net/project/findbugs/findbugs/3.0.1/findbugs-3.0.1.tar.gz

tar zxvf findbugs-3.0.1.tar.gz 

vi /etc/profile

export FINDBUGS_HOME=/app/findbugs-3.0.1

export PATH=$PATH:$FINDBUGS_HOME/bin

编译hadoop

tar -zvxf  hadoop-3.1.1-src.tar.gz

cd  hadoop-3.1.1-src

mvn package -DskipTests -Pdist,native -Dtar

PS 参考以前收藏的编译hadoop2.6的文章，原参考地址已丢失