首先,由于下载的hadoop一般都是编译好的,不支持snappy压缩,因此,我们需要下载未编译的hadoop进行编译,然后自己设置支持的压缩格式。以下开始详细配置:
安装之前 hadoop checknative -a
1.准备
###安装其中部分基础软件的命令:
yum -y install gcc gcc-c++ libtool cmake maven zlib-devel
下载maven ,snappy1.1.1,protobuf-2.5.0.tar.gz,以及Hadoop未编译的源码。
一.首先去官网下载未编译的hadoop版本(hadoop-src.*的)
https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/
默认的编译好的文件不支持snappy压缩,因此我们需要自己重新编译
下载snappy