如何编译Hadoop

最新推荐文章于 2022-04-05 22:42:48 发布

天街小雨入江南

最新推荐文章于 2022-04-05 22:42:48 发布

阅读量278

点赞数

分类专栏： hadoop 集群搭建文章标签： hadoop 大数据运维编译编译hadoop

本文链接：https://blog.youkuaiyun.com/weixin_39911113/article/details/82109244

版权

hadoop 集群搭建专栏收录该内容

2 篇文章

订阅专栏

在集群搭建时，为避免环境差异错误及进行源码改动，有时需自行编译Hadoop。博客详细介绍了编译步骤，包括安装jdk、所需环境、maven、ant、findbugs、proto，配置环境变量，解压hadoop源码，最后开始编译。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

编译Hadoop

在集群搭建的过程中有时候我们需要自己来编译自己集群的hadoop，原因常常有两个，一是避免因集群环境不同造成的一些错误和警告，二是一些基于源码的改动。

编译步骤

1.安装jdk

解压jdk安装包到指定目录
执行：tar -zxvf jdk-8u171-linux-x64.tar.gz -C /cloud/java
配置环境变量
执行：vim /etc/profile
#在行尾添加

export JAVA_HOME=/cloud/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

保存退出
执行：source /etc/profile
测试：java -version 查看java版本，能够正确打印版本号说明配置成功

2.安装所需环境

yum -y install gcc*
yum -y install cmake
yum -y install glibc-headers
yum -y install gcc-c++
yum -y install zlip-devel
yum -y install openssl-devel
yum -y install svn
yum -y install git
yum -y install ncurses-devel
yum -y install lzo-devel
yum -y install autoconf
yum -y install libtool
yum -y install automake

3.安装maven

4.配置环境变量

export JAVA_HOME=/data/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib
export MAVEN_HOME=/data/maven/apache-maven-3.5.4
export ANT_HOME=/data/ant/apache-ant-1.10.4
export FINDBUGS_HOME=/data/findbugs/findbugs-3.0.1
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:\$FINDBUGS_HOME/bin