hadoop lzocodec 和lzopcodec 的区别以及索引创建

最新推荐文章于 2022-04-06 07:12:55 发布

原创最新推荐文章于 2022-04-06 07:12:55 发布 · 476 阅读

2 ·

CC 4.0 BY-SA版权

本文详细对比了LZO与LZOP两种压缩方式在Hadoop环境下的性能差异，推荐在Map阶段使用LzoCodec，在Reduce阶段使用LzopCodec。此外，介绍了如何为LZOP生成的.LZO文件创建索引，以支持split操作，从而提高Map任务的并行度。

1:区别

LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息
如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；如果使用LzopCodec作为Reduce输出，则扩展名为".lzo"，它可以被lzop读取
生成lzo index job的”DistributedLzoIndexer“无法为 LzoCodec，即 ".lzo_deflate"扩展名的文件创建index
”.lzo_deflate“文件无法作为MapReduce输入，”.LZO"文件则可以。
综上所述得出最佳实践：map输出的中间数据使用 LzoCodec，reduce输出使用 LzopCodec

2：创建索引

lzo文件默认不支持split，创建索引后支持split,这样作为map输入时就可以将文件分割成多个map，否则只能有一个map

只有lzopcodec生成的.LZO文件才能创建索引

（1）单机版本

hadoop jar hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer

/user/recsys/part_test/dt=2019-02-27/xxx_x.lzo

或者

hadoop jar hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /user/recsys/part_test/dt=2019-02-27

（2）集群版本

hadoop jar hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/recsys/part_test/dt=2019-02-27/xxx_x.lzo

或者

hadoop jar hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/recsys/part_test/dt=2019-02-27