编译hadoop2.6.0-cdh5.7.0 native支持snappy & 编译中遇到的坑及解决办法

最新推荐文章于 2021-08-20 19:27:31 发布

原创

最新推荐文章于 2021-08-20 19:27:31 发布 · 2k 阅读

1 ·

CC 4.0 BY-SA版权

前沿

使用官网自带的hadoop-2.6.0-cdh5.7.0.tar.gz所解压之后，安装部署的hadoop环境，往往在执行checknative命令的时候，发现诸如zlib、snappy、lz4、bzip2、openssl的检查不通过。而这样会对我们使用各种压缩的时候带来不便，因此我们需要自己去手动编译native，并使其支持snappy。

编译准备

编译前我们需要做如下几步：

部署JAVA环境
安装maven
安装Protocol Buffer 2.5.0
安装Findbugs

上述步骤的安装可以参考博文：Hadoop源码编译

为了支持native，我们需要手动去安装支持这些压缩的本地库，具体操作如下：

$>yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
$>yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
 
 
 
  
  1
  
  2