LZO压缩配置及注意事项

最新推荐文章于 2024-12-27 10:17:22 发布

天涯问路

最新推荐文章于 2024-12-27 10:17:22 发布

阅读量974

点赞数 1

分类专栏：项目经验文章标签： hadoop LZO

本文链接：https://blog.youkuaiyun.com/S_Alics/article/details/108513063

版权

本文介绍了在Hadoop中配置LZO压缩的详细步骤，包括hadoop-lzo的编译、jar包部署、core-site.xml的配置以及LZO压缩文件索引的创建，确保LZO在Hadoop上的正确运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、由于 Hadoop 本身并不支持 LZO 压缩，所以需要使用 twitter 的 hadoop-lzo 开源组件。

1.hadoop-lzo 需要依赖 hadoop 和 lzo 进行编译，编译步骤请参考：

https://blog.youkuaiyun.com/S_Alics/article/details/108513408

2.将编译好的 hadoop-lzo 的 jar 包放入 hadoop/share/hadoop/common（放在自己真实的路径的common文件夹下）

3.配置 core-site.xml

<configuration>
    <property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            com.hadoop.compression.lzo.LzoCodec,
            com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compres