[hadoop系列]hadoop-gpl-compression的安装和编译

最新推荐文章于 2022-08-08 10:33:12 发布

原创最新推荐文章于 2022-08-08 10:33:12 发布 · 9.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #ant #compression #maven #gcc #java

本文详细介绍了如何安装和编译hadoop-gpl-compression，包括下载hadoop-gpl-compression包，将其jar文件移动到hadoop的lib目录，以及在缺少lzo库的情况下编译lzo类库的步骤。此外，还提供了针对编译时可能遇到的代理问题的解决方案。

　　inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.youkuaiyun.com/inkfish ）。

从Hadoop 0.20.X开始，由于lzo压缩格式GPL形式授权的影响，lzo压缩从hadoop发布包中取消，转而成为Google Code中的一个项目hadoop-gpl-compression 。本文介绍hadoop-gpl-compression的安装和编译。这里之所以叫安装和编译，而不是编译和安装，是因为安装并不一定需要编译，安装不成功才需要自己动手编译。

测试环境：
　　操作系统：Ubuntu 8.04 　　Java：　　SUN JDK 1.6.0_16，假设已设置完环境变量$JAVA_HOME 　　Hadoop：　hadoop-0.20.1，假设已正确安装完毕，且安装目录是$HADOOP_HOME 　　安装目标：hadoop-gpl-compression-0.1.0-rc0

一.hadoop-gpl-compression安装步骤：
　　1.下载hadoop-gpl-compression-0.1.0-rc0.tar.gz
wget http://hadoop-gpl-compression.googlecode.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 　　2.解压下载的包
tar -xvf hadoop-gpl-compression-0.1.0-rc0.tar.gz 　　3.把hadoop-gpl-compression-0.1.0.jar挪到hadoop安装目录的lib子目录下
mv hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar $HADOOP_HOME/lib/ 　　4.把本地库文件挪到hadoop相应的本地库文件目录下
mv hadoop-gpl-compression-0.1.0/lib/native/Linux-i386-32/* hadoop-0.20.1/lib/native/Linux-i386-32/ mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* hadoop-0.20.1/lib/native/Linux-amd64-64/ 　　5.删除下载的hadoop-gpl-compression
rm -r hadoop-gpl-compression-0.1.0 hadoop-gpl-compression-0.1.0-rc0.tar.gz 　　6.每台hadoop机器上执行上述步骤，也可以把本机$HADOOP_HOME目录用scp命令分发到每一个节点。

　　至此安装完成，enjoy your lzo compression!

　　但是往往安装不会那么一帆风顺，有可能机器不带有lzo解压缩的库，需要下载编译lzo的本地类库。

二.lzo类库安装步骤：
　　1.检查gcc、g++等编译工具已经安装，没有安装则执行以下命令安装：
sudo apt-get install g++ sudo apt-get install gcc 　　2.下载lzo源文件包
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.03.tar.gz 　　3.解压下载的lzo包
tar -xvf lzo-2.03.tar.gz 　　4.安装lzo包
sudo ./configure sudo make sudo make install 　　注：这里需要用超级用户权限编译和安装，否则编译安装将会失败。

　　至此，lzo类库编译安装完毕。

　　但是还会有少部分用户发现还是用不了，或者希望自己进行编译，那么下面继续：

三.hadoop-gpl-compression的编译和安装
　　0.假设hadoop-0.20.1已经安装完毕，假设安装目录是$HADOOP_HOME，假设lzo类库的安装已经完成（具体步骤见上一段）；

　　1.安装必要的包，这一步列举的一些包没有经过完全验证，但是在没装这些包之前一直无法编译过去，在装了之后便以正确，但没有精确去考证是什么包起的作用，这里把所有包一并列出
sudo apt-get install gcc sudo apt-get install g++ sudo apt-get install gobjc sudo apt-get install autoconf sudo apt-get install automake sudo apt-get install libtool sudo apt-get install libcompress-lzo-perl sudo apt-get install lzop sudo apt-get install liblzo2-dev 　　2.下载hadoop-gpl-compression-0.1.0-rc0.tar.gz并解压
wget http://hadoop-gpl-compression.googlecode.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz tar -xvf hadoop-gpl-compression-0.1.0-rc0.tar.gz 　　3.如果没有安装ant，下载并安装，安装过的忽略本步骤
wget http://www.apache.org/dist/ant/binaries/apache-ant-1.8.0RC1-bin.tar.gz tar -xvf apache-ant-1.8.0RC1-bin.tar.gz 　　4.复制hadoop的类库到hadoop-gpl-compression中
cp hadoop-0.20.1/*.jar hadoop-gpl-compression-0.1.0/lib/ 　　5.设置环境变量
　　　　若是32位系统，执行： export CFLAGS=-m32 export CXXFLAGS=-m32 　　　　若是64位系统，执行： export CFLAGS=-m64 export CXXFLAGS=-m64 　　6.执行ant进行编译并打包 sudo apache-ant-1.8.0RC1/bin/ant compile-native tar 　　7.安装hadoop-gpl-compression tar -xvf hadoop-gpl-compression-0.1.0/build/hadoop-gpl-compression-0.1.0-dev.tar.gz mv hadoop-gpl-compression-0.1.0-dev/hadoop-gpl-compression-0.1.0-dev.jar $HADOOP_HOME/lib/ mv hadoop-gpl-compression-0.1.0-dev/lib/native/Linux-i386-32/* hadoop-0.20.1/lib/native/Linux-i386-32/ mv hadoop-gpl-compression-0.1.0-dev/lib/native/Linux-amd64-64/* hadoop-0.20.1/lib/native/Linux-amd64-64/ 　　8.删除hadoop-gpl-compression目录 sudo rm -r hadoop-gpl-compression-0.1.0* 　　　　如果下了ant且不想保留，也可以一并删除： rm -r apache-ant-1.8.0RC1

　　至此，hadoop-gpl-compression已经编译并安装完毕

四.其他事项

　　1.如果服务器访问外网需要代理如何设置
　　　　执行如下命令： export http_proxy=http://username:password@host:port 　　　　其中username、password、host、port用具体值替换。当然如果密码有不规则字符要小心，该转义的要转义。
　　2.如果ant编译时需要代理则需要事先设置ANT_OPTS（这一条是网上查的，没有经过验证） export ANT_OPTS="-Dhttp.proxyHost=host -Dhttp.proxyPort=port -Dhttp.proxyUserName=username -Dhttp.proxyPassword=password" 　　　　其中username、password、host、port用具体值替换。当然如果密码有不规则字符要小心，该转义的要转义。
　　3.如果用的是NTLM的代理，会比较麻烦，ant将会无法通过代理，这时候需要在一个能直接访问的局域网内存在一个maven库。
　　　3.1修改hadoop-gpl-compression-0.1.0/build.xml
　　　　找到行： <property name="ivy_repo_url" value="http://repo2.maven.org/maven2/org/apache/ivy/ivy/${ivy.version}/ivy-${ivy.version}.jar"/> 　　　　改为 <property name="ivy_repo_url" value="http://maven_repo/org/apache/ivy/ivy/${ivy.version}/ivy-${ivy.version}.jar"/> 　　　3.2修改hadoop-gpl-compression-0.1.0/ivy/ivysettings.xml文件
　　　　找到行： value="http://repo1.maven.org/maven2/" 　　　　改为： value="http://maven_repo/" 　　　　其中maven_repo是本地maven库的位置。