Hadoop支持LZO压缩配置详细（附文件）

最新推荐文章于 2022-08-08 10:33:12 发布

子清.

最新推荐文章于 2022-08-08 10:33:12 发布

阅读量2.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签：大数据 hadoop lzo

本文链接：https://blog.youkuaiyun.com/zmzdmx/article/details/113655883

本文介绍如何在Hadoop环境中配置LZO压缩功能，包括安装编译LZO库及hadoop-lzo组件、配置core-site.xml支持LZO、创建LZO文件索引等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

支持LZO压缩配置

1）hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。

Hadoop支持LZO

0. 环境准备
maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

1. 下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

2. 编译hadoop-lzo源码

2.1 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
2.2 解压之后，修改pom.xml
    <hadoop.current.version>3.1.3</hadoop.current.version>
2.3 声明两个临时环境变量
     export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
     export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
2.4 编译
    进入hadoop-lzo-master，执行maven编译命令
    mvn package -Dmaven.test.skip=true
2.5 进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

2）