本文探讨了在使用LZO进行数据压缩时，LzoCodec与LzopCodec之间的差异及推荐的使用场景。通过对比这两种编码方式的特性，特别是它们在输出文件扩展名、兼容性以及与分布式索引工具的互动方面的影响，为数据处理流程提供了优化建议。
使用LZO过程会发现它有两种压缩编码可以使用，即LzoCodec和LzopCodec，下面说说它们区别：
- LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息
- 如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；如果使用LzopCodec作为Reduce输出，则扩展名为".lzo"，它可以被lzop读取
- 生成lzo index job的”DistributedLzoIndexer“无法为 LzoCodec，即 ".lzo_deflate"扩展名的文件创建index”.
- lzo_deflate“文件无法作为MapReduce输入，”.LZO"文件则可以。
- 综上所述得出最佳实践：map输出的中间数据使用 LzoCodec，reduce输出使用 LzopCodec
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
