Hadoop关于使用lzo压缩的笔记

最新推荐文章于 2024-03-25 19:52:36 发布

原创最新推荐文章于 2024-03-25 19:52:36 发布 · 357 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

12 篇文章

订阅专栏

博客围绕Hadoop中LZO文件展开，介绍了使用LZO仍无法分片的原因，指出需为LZO压缩文件生成索引文件来实现分片。还说明了如何生成LZO文件，以及给data.lzo配置索引文件的具体步骤，包括安装编译文件、修改配置、重启集群等，最终实现LZO的分片操作。

为啥使用了lzo仍然不能分片

在hdfs.xml中，有这样的配置

<property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
 </property>

这个配置设置了块大小为128M，在mapreduce的过程中，inputformat执行完毕之后，就会根据该配置，对文件进行切块(split)，进而根据块的数量来决定map task的数量。

除了textFile之外，压缩格式中的lzo，bz2也可以进行文件的切块操作。

但是从一般情况，lzo本身是无法进行切块的——如果直接将大于128M的data.lzo文件作为map的输入时，默认blocksize为128M的情况下，number of
splits的值仍然为1，即data.lzo仍然被当为一块直接输入map task。

所以为了实现lzo的切块，需要为lzo的压缩文件生成一个索引文件data.lzo.index。

如何生成lzo文件

lzop -v data就会生成data.lzo文件

给data.lzo配置索引文件

需要准备hadoop-lzo-0.4.21-SNAPSHOT.jar如果没有的话就需要编译生成一下

安装编译所需文件
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
下载，解压
wget https://github.com/twitter/hadoop-lzo/archive/master.zip
修改pom.xml，将其中的hadoop.current.version改为自己的hadoop版本
编译
在hadoop-lzo-master/下执行mvn clean package -Dmaven.test.skip=true进行编译，编译好的jar包在hadoop-lzo-master/target/
修改hadoop的配置文件

core-site.xml

    <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.GzipCodec,
               org.apache.hadoop.io.compress.DefaultCodec,
               org.apache.hadoop.io.compress.BZip2Codec,
               org.apache.hadoop.io.compress.SnappyCodec,
               com.hadoop.compression.lzo.LzoCodec,
               com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>
    
    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>

mapred-site.xml

   <property>
      <name>mapreduce.map.output.compress</name>
      <value>true</value>
  </property>

  <property>
      <name>mapreduce.map.output.compress.codec</name>
      <value>com.hadoop.compression.lzo.LzoCodec</value>
   </property>

重启hadoop集群，将data.lzo丢到hdfs里
创建index文件

# 使用mapreduce创建索引
hadoop jar /home/hadoop/hadoop-lzo-0.4.21-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer /input/data.lzo

# 使用本地程序创建索引
hadoop jar /home/hadoop/hadoop-lzo-0.4.21-SNAPSHOT.jar com.hadoop.compression.lzo.LzoIndexer /input/data.lzo

执行自己的mapreduce程序的时候，输入路径为/input而非/input/data.lzo，这样就能实现lzo的分片操作