和我一起学Hadoop(二):Hadoop的源码构建

本文介绍如何在CentOS-6.8环境下从源码构建Hadoop 2.6.5,包括所需环境配置如JDK、Maven、Ant等安装步骤,特别关注了C/C++依赖库protobuf的手动编译过程。

为什么要本地构建,因为存在c/c++代码造成了移植性性问题,避免以后的各种问题,最好自己下载hadoop源码。

环境
CentOS-6.8
hadoop 2.6.5-src
yum源:阿里云yum源 yum源使用
jdk 1.7.x
maven 3.3.9
ant 1.9.8
protobuf 2.5.0 [超级蛋疼:官方要翻墙][这个包需要手动编译,安装]
我的百度云(这里是我安装时的一些必要软件包)
以上是需要手动安装的包
下面是使用yum install 安装的必须的编译环境
gcc
gcc-c++
openssl
openssl-devel
cmake

1.yum install 必须的环境

yum install -y gcc gcc-c++ openssl openssl-devel cmake

2.安装软件包
maven、ant解包

tar -zxvf [xxx.tar.gz]

配置/etc/profile

export JAVA_HOME=/root/apps/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export ANT_HOME="/root/apps/apache-ant-1.9.8"
export M2_HOME="/root/apps/apache-maven-3.3.9"
export PATH=$PATH:$ANT_HOME/bin:$M2_HOME/bin

3.安装protobuf-2.5.0
同样的解包tar -xzvf ….
注意:这是一个c++程序

cd 到解包目录下
./configure
make && make install

4.构建本地化的Hadoop包
解包

mvn package -Pdist,native -DskipTests -Dtar

静静等待hadoop的到来吧!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值